RongYe.Liu

微博热点监控bot

Sun, 29 Sep 2024 00:00:00 GMT

一、为什么有这bot

现在热点时效性非常的高，所以营销一定要合适合理蹭热度。但是不是所有的热点都适合，一不留神都会变成负反馈。以前是需要用人工来处理这方面的工作，现在有AI+agent 结合，可以解放人力，而且能一劳永逸批量生成符合的文章

二、制作逻辑

如图

获取微博热榜

检阅热榜内容是否符合规范

进行实时热点新闻软广、推文、评论等操作

添加贴文配图

平台发送

三、实现效果

四、后续拓展

这套逻辑可拓展性很高

1，可以多账号联动性
2，添加前端和后台，能组成一完整产品
3，多个节点能组合拼装，例如：

热点能换成数据库，就能定时发送数据库内容
帖文换成评论、时评等

4，丰富生成能力，能调用ai图片、ai视频组成纯ai 高质产品

起号、养号、营销等操作，能更得心应手

五、附录

1，热评bot 体验

微博热评-bot—体验链接

2，相关指令和代码

Http请求（python）

参数提取器：

内容检阅

嘴替小明

手动创建 Openai-O1

Wed, 25 Sep 2024 00:00:00 GMT

一、Openai-o1

2024年9月12日，天空一声惊响，草莓（openai-o1前身）闪亮登场。鸽了半年，万众期待的🍓终于上线。OpenAI o1 能进行推理复杂人物，并解决比以前的科学、编码和数学模型更难的问题。那么怎么才能使用OpenAI o1 呢？有两种方式

订阅chatGPT plus网页版，能选择使用 OpenAI-o1 30条/周，OpenAI-o1 mini 50条/周

OpenAi-o1 开发者账户，每月api 请求量 1000$（7400¥）以上能调用 1000次/分钟

这两种方式，对国内用户都不怎么友好，自从 OpenAi 封禁大陆网络之后情况更加严峻。

在国内大模型厂商还没跟进 o1 全新的版本出相关模型之前，我们怎么体验 o1 的强大呢？

在这里，将用 dify 平台和 Qwen2.1 70B 手搓一个 o1。

二、OpenAI-o1 原理

（1）思维链

要徒手实现一个 OpenAI-o1 ，首先得理解他原理，根据已经释放出来的数据和测试，OpenAI-o1 很有可能是由至少3个基础模型，经过 COT（思维链）方式。

COT（思维链）是 prompt engineeing （提示词工程）一个技能，用于减少大模型的幻觉产生。自从提出来之后，经历了许多的变种。

首先来看图

(IO）最左边的就是我们最经常与大模型交互的形式，直接对话⇒输出

(COT) 这就是，零样本COT，通过添加一句魔法词， let’s think step by step(让我们逐步思考）

（COT-SC）自洽性COT，通过生成多个推理链路，选择出现频率最高的答案，以提高一致性和准确性

（TOT）思维树，将问题分为多个小问题，并且解决问题过程为树状，每个节点代表一个中间状态或者思考步骤，然后可以探索作中可能的解决路径，并抉择最佳的一个

总的来说，思维链，就是给时间大模型，引导大模型进行思考

（2）OpenAI-o1 思维链路实现方式

由图得知，OpenAi-o1 的思维链（COT）的实现逻辑如下

获取用户输入，进行思考，解答（步骤1）
将步骤1，所有内容作为，步骤2输入
将步骤2，所有内容作为，步骤3输入
最后汇总分析，将分析结果输出，其他所有过程内容隐藏

三、Dify 构建OpenAI-o1

使用dify 构建OpenAi-o1 工作流，我这里选用基础模型是，GPT-4o，当然也可以选择免费版本（Qwen2-70B、Llama3.1 405B）也有不错的效果。

实现的指令集和工作流 DLS 会放在文章末尾

整体实现链路如下

具体逻辑如下

对用户的问题进行分解，然后将每个小问题进行解答，最后把问题+小问题答案汇总分析解答。

四、测试效果

经典小数问题

草莓（strawberry）文本问题

鸡兔同笼问题

由此可见，思维链（COT）结合模型基座，回答质量提升不少

五、附录

1，Dify OpenAI-o1 工作流，直接导入即可

Openai-o1.yml

13.0KB

2，体验入口

Dify-OpenAI-o1

3，指令集

（1）问题步骤拆分

（2）步骤分析推理

（3）问题+上下文答案+最后解惑

Super Prompt

Mon, 23 Sep 2024 00:00:00 GMT

写好prompt的六种策略

Wed, 28 Aug 2024 00:00:00 GMT

一、为什么需要好的 prompt

虽然 LLM 无论你输入什么都能得到反馈，但是要获取想要的答案，还是需要一番功夫，目前 LLM 还有这样那样的一些缺点：

数据偏见：因为预训练模型，不可避免具有主观的数据

缺乏理解：这点在一些小参数量的模型上尤为显著，说话上下文不连贯，而且意思不理解

时间理解局限性：这个很好理解，训练数据是有时效性的，所以不可避免理解不到最新的数据

生成幻觉：这是 LLM 最重要的缺点，目前很多方面的技术，都在避免 LLM 产生幻觉

所以，prompt engineer （指令集工程）应允而生，llya （openai CTO已离职）也曾豪言说，以后的编程只剩下英语（自然语言）

二、写好 prompt 的 6个原则

1，明确清晰的需求说明

不要客气，直接描述需求内容

2，提供参考文本

我们可以为模型提供与当前查询相关的可信信息，那么我们可以指示模型使用提供的信息来编写其答案。

3，将复杂的任务拆分为简单的小任务

需要独立指令来处理不同情况的任务，需要确定哪些是有益的

也可以将任务分解成一系列任务

4，给模型时间”思考“

在匆忙得出结论前，制定模型制定自己的解决方案

明确指示模型在得出结论之前从第一性原理进行推理时，会得到更好的结果

5，使用外部工具

6，系统的测试更改

gpt 配置认知

Fri, 05 Nov 2021 00:00:00 GMT

一、GPT认知

ChatGPT 是指网页版本对话，跟GPT 模型调用是不同的关系，账号也不通用。

ChatGPT plus 是网页版GPT 会员，能有更多的对话次数，和del3 的使用。

简单来说：

ChatGPT 网页版GPT，对话聊天、Dell3 图片生成、语音返回；

GPT 模型，是需要 platform 平台调用，按照使用的模型，输入、输出的token 量来计费

二、GPT接口配置

指令集工程配置，绕不开 LLM 先祖 openai 的接口，他最开始统一了 LLM 调用接口结构，后续的LLM api 都遵循这个结构，以便能更好的复用；

首先看看openai 官网的 api 文档，Create chat completion 这个接口，现在已经有【default、image input、Streaming 、functions、Logprobs】功能

最基础的 Default：

request：

着重讲讲 message 的参数

role分为三个角色

system ：系统指令集，也就是指令工程地方
user：用户输入
assiatant：模型回复

response：

config:

这里抽取最常用的几个配置说明

template : 越低，确定性越高，越高，随机性越强，标准 0.7 （0～1）

top_p: 温度采样技术，核采样。例如，0.1表示只有10%会考虑之前的token。默认为1 。

template 和top_p 只改动一个

max_tokens：停止生成之前，生成的最大 token 数。跟选择的模型相关

stop ：让模型停止生成的 4 字符

frequency_penalty：频繁生成令牌惩罚，正值会根据新生成的token跟新频率惩罚，降低模型逐字重复的可能性（-2.0～2.0）

这些是api 接口调用的常用配置，但通常已经分装好的可以直接配置

三、token 是什么

由于机器理解不了自然语言，例如中文。所有我们创作了utf-8 这种字符规则，token也是这样，模型理解内容的格式为向量（embedding），所以需要把输入的文本分割成单个元素，通常是单词、子词、符号。

例如：我爱学习，可以分割成三个tokens ： “我”，“爱”，“学习”；

在处理文本时候，分词工具会把连续的文本转换为tokens ，这个过程称为向量化，具体可参考 Openai Tokenize

LLM 可以读取上下文中tokens 的内容，顺序和组合对模型理解和生成能力具有影响

token 就是人工智能中的基础单位

四、指令集工程

提示词（Prompt）是用户发送给大语言模型的问题、指令或请求，来明确地告诉模型用户想要解决的问题或完成的任务，是大语言模型理解用户需求并据此生成相关、准确回答或内容的基础。对于大语言模型来说，提示词就是用户输入给大语言模型的文本信息

通常 prompt 会写在，system_prompt 中，也就是上文接口中system 角色

以上就是就是指令集工程，相关的概念和配置介绍，后面会展开讲解，指令集工程相关内容：

指令集工程

基础规则
额外功能
进阶能力

markdown 语法结构

指令集框架

指令集骇客

减少偏差

4⃣️工作流创作rag机器人

Mon, 26 Aug 2024 00:00:00 GMT

一、工作流是什么

在使用 LLM 处理复杂流程，和需要遍历迭代的流程时候，就需要使用工作流，能将使用步骤，通组件、工具方式，拖拉填写，就创立出一个完整的 Ai Bot。

可以说，工作流是，Dify 的核心功能，也是所有ai-agent 平台的核心功能，dify 工作流功能强大，几乎能实现用需要 llm 实现的工作。

二、工作流面板

点击创建空白应用，通过工作流编排、工作，工作流，即可创建工作流

在这里先介绍下dify 工作流面板中各个节点的概念、和功能（详细可以查看官方文档）：

基础

LLM ：大脑，可以选择已配置的模型（模型相关配置可以参考我之前的文章）
知识检索：使用知识库功能
直接回复：在聊天助手-工作流编排中，可以根据 LLM 处理情况，中途回复
结束：在工作流中，是最后的输出

问题理解

问题分类：能使用 LLM 来判断用户输入的内容，属于那些类型

逻辑

条件分支：类似程序编码中的 if / else
迭代：类似程序编码中的for 循环

转换

代码执行：可以执行沙盒中的，python、node 代码，有限功能
模板转换：能将输入使用 jinja2 模板格式输出（用于整理数据结构）
变量聚合器：可将多个聚合成组，或者一个变量
变量赋值：能中途操作变量，有覆盖、追加、清空功能
参数提取：使用 LLM 从内容中提取信息（多用于结构内容提取、LLM 内容信息总结等）
HTTP请求：可以发送HTTP请求，实现调用外部api 功能

点击每一个节点，可以单独运行、查看说明文档、复制、删除等功能

三、知识库创建

发现知识库，短短一段讲不明白，可参考这篇，知识库创建

四、创建rag 应用工作流

填写好指令集，将知识库检索的内容作为上下文，放入指令集、或者User 回答中。

测试工作流：

从图中可以看出，我们提问书中的内容，也确实得到书中的回答。但是，并没有得到想要的答案。

这是为什么呢，看图知识检索过程，发现根据问题获取的，相似度文段，只有短短一段，并没有完整的文段。

这就需要重新清洗知识库数据，查看分割文段设置

总而言之，这就是创建一个工作流的流程，后续我们来创建 agent 应用