Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

工作流调用的提示词

Answer

以下是关于工作流调用的相关内容：

  • 在百炼相关的问题中：
    • 存在提示词让大模型调用工作流但实际未调用，且文档未写明调用方式的情况。
    • 探讨了如何把开始节点的输入参数接入到代码节点中进行处理。
    • 提到千问模型处理标点符号的问题，如在提示词要求句尾不要有句号但仍出现，以及在工作流中处理后回到应用中又加上标点符号，而同样的提示词在扣子中可以去掉标点符号。
    • 询问规定模型不能用搜索和投喂输出文本，比赛是否只限在提示词调试范围内。
    • 对同样的问题给出答案区别大的情况进行了讨论。
    • 存在无论 prompt 怎么变，模型生成完内容后自动被“不生成任何标点符号”所替换的情况。
    • 询问 COW 调用百炼应用是否支持多轮对话。
  • 在安仔：Coze 全方位入门剖析中：
    • 工作流是整个 AI Bot 的核心和灵魂部分。
    • 开始节点定义了用户传入赋值的变量及变量描述，该描述就是工作流的提示词，当用户输入相关关键词如“查询航班”“查询机票”“查询航班信息”等，AI Bot 会调用工作流。
    • 第二步通过大模型组件解析用户输入信息是否满足提示词条件，借助大模型组件可实现动态用户需求传入。
    • 接着是条件判断，包括不满足条件时的处理方式。
  • 在 ComfyUI JoyCaption 相关中：
    • 整体工作流程包括用户输入图片、视觉模型提取关键特征、适配器转换特征为语言模型可理解形式、语言模型生成文本描述、系统输出最终图像描述文本。
    • 工作流中分别使用了 JoyCaption、MiniCPM、ollama，也可只使用一个，但同时使用需要较高显存。
    • JoyCaption 出来的提示词有截断，解决办法是在开头加上“: ”和空格。
Content generated by AI large model, please carefully verify (powered by aily)

References

百炼相关Q&A

我在提示词中各种要求句尾不要有句号，可仍旧有。我甚至在工作流中用代码去掉后，回到应用中又给加上了标点符号。。。同样的提示词，放在扣子中就可以去掉标点符号。[heading1]Q：记得第一天提到，规定模型不能用搜索和投喂输出文本。比赛是不是只限在提示词调试的范围内呢？[heading1]Q：为什么同样的问题，给出的答案区别这么大？接的就是同一个应用，这个问题我很早就预测过了，同一个模型[heading1]Q：无论prompt怎么变，模型生成完内容后，自动被“不生成任何的标点符号”所替换。这个情况在max[content][IMG_7196.MOV](https://bytedance.feishu.cn/space/api/box/stream/download/all/Eapxb1wGfoHwPFxM8ZPchIWynOd?allow_redirect=1)[sd1722526042_2.mp4](https://bytedance.feishu.cn/space/api/box/stream/download/all/MpeJbplT8oIqB0xfrB8cY6ixnml?allow_redirect=1)[heading1]Q：COW调用百炼应用如何支持多轮对话么？[heading1]Q：[heading1]Q：[heading1]Q：[heading1]Q：[heading1]Q：[heading1]Q：[heading1]Q：[heading1]Q：

Coze 全方位入门剖析 - 免费打造自己的 AI Agent (国内版)

最后是工作流的使用，这个是整个AI Bot的核心，也是最灵魂的部分，先给大家看看我新增的一个工作流的全局截图，先大概看看复杂度：大家应该看不太清吧，没关系，这里我逐一讲解下这个工作流的设计：1.第一步是开始节点，这里定义了下用户传入赋值的变量，以及对应的变量描述。这个工作流的核心功能是-根据具体日期获取用户旅游往返的航班信息详情。首先你可以大概想想一个问题，在和AI Bot对话的过程中，它如何知道什么时候该调用你这个工作流呢？答案就是你开始节点的变量描述，这个描述就是你这个工作流的提示词，比如你可以在这个描述里面加上一些关键词，比如“查询航班”、“查询机票”、“查询航班信息”等等，这样当用户输入这些关键词的时候，AI Bot就会调用你这个工作流了，以下是官方的具体说明：1.第二步是通过使用大模型的组件来解析用户输入的信息是否满足这个大模型的提示词条件，如下图，这里提一点的是，通过AI大模型组件的加持，我们可以实现我们传统编程实现不了的动态用户需求传入，意味着我们可以通过自然语言来动态调用我们的条件流程，而不是通过传统编程的固定条件匹配和调用。1.接下来是一个条件判断，其实就是通过上一步的大模型解析后的结果来选择条件执行：1.先来说不满足的情况，下一步又会调用一个大模型组件，其提示词其实是跟我们这个AI Bot的提示词是几乎一样的，因为目前Coze的工作流设计只能支持一个开始节点的输入和一个结束节点的输出，不能说不满足条件下就不附加结果变量来单独输出结果，所以这就是为什么我要在这里加多一个大模型组件的原因，如果不懂这个意思你看下一步的步骤就明白原因了：

ComfyUI JoyCaption提示词反推太强了结合MiniCPM和ollama直接上墙的强还和Flux特别的搭ComfyUI里用起来

1.用户输入一张图片2.视觉模型提取图片的关键特征3.适配器将视觉特征转换为语言模型可以理解的形式4.语言模型基于这些特征生成文本描述5.系统输出最终的图像描述文本[heading3]工作流[content]工作流里面分别使用了JoyCaption、MiniCPM、ollama，大家可以也可以只使用一个，同时使用需要较高的显存。[heading3]相关问题[content]JoyCaption出来的提示词有截断https://huggingface.co/spaces/fancyfeast/joy-caption-pre-alpha/blob/main/app.py打开发现它的prompt是A descriptive caption for this image:\n一定要加一个冒号和空格，就可以了，它的原理用了llama的续写功能，所以开头一般都有截断

Others are asking
单轮对话与多轮对话调用
单轮对话与多轮对话调用： 聊天模型通过一串聊天对话作为输入，并返回一个模型生成的消息作为输出。尽管聊天格式的设计是为了多轮对话更简单，但它对于没有任何对话的单轮任务同样有用（例如以前由 textdavinci003 等指令遵循模型提供的任务）。 API 调用的例子中，messages 参数是主要的输入，必须是一个消息对象的数组，每个对象拥有一个 role（“system”“user”或“assistant”）和 content（消息的内容）。会话可以少至 1 条消息或者有许多条。通常，会话首先使用系统消息格式化，然后交替使用用户消息和助手消息。系统消息有助于设定助手的行为，用户消息帮助指示助手，助手消息用于存储之前的响应。当用户的指令是关于之前的消息时，包含聊天历史记录将有所帮助。如果会话包含的 token 超出了模型的限制，则需要用一些方法去缩减会话。 百炼相关 Q&A： 如何调用工作流？在提示词写了让大模型调用 xxx 工作流，但实际总是不调用。文档里也没有写调用方式。 如何把开始节点的输入参数直接接入到代码节点中进行处理？ 千问模型基本不能处理标点符号，在提示词中各种要求句尾不要有句号，可仍旧有。甚至在工作流中用代码去掉后，回到应用中又给加上了标点符号。同样的提示词，放在扣子中就可以去掉标点符号。 记得第一天提到，规定模型不能用搜索和投喂输出文本。比赛是不是只限在提示词调试的范围内呢？ 为什么同样的问题，给出的答案区别这么大？接的就是同一个应用，这个问题很早就预测过了，同一个模型。 无论 prompt 怎么变，模型生成完内容后，自动被“不生成任何的标点符号”所替换。这个情况在 max。 COW 调用百炼应用如何支持多轮对话么？
2025-01-06
通过 API 调用大模型
以下是通过 API 调用大模型的相关步骤： 1. 创建大模型问答应用： 进入百炼控制台的，在页面右侧点击新增应用。在对话框，选择智能体应用并创建。 在应用设置页面，模型选择通义千问Plus，其他参数保持默认。您也可以选择输入一些 Prompt，比如设置一些人设以引导大模型更好的应对客户咨询。 在页面右侧可以提问验证模型效果。不过您会发现，目前它还无法准确回答你们公司的商品信息。点击右上角的发布。 2. 获取调用 API 所需的凭证： 在我的应用>应用列表中可以查看所有百炼应用 ID。保存应用 ID 到本地用于后续配置。 在顶部导航栏右侧，点击人型图标，点击 APIKEY 进入我的 APIKEY 页面。在页面右侧，点击创建我的 APIKEY，在弹出窗口中创建一个新 APIKEY。保存 APIKEY 到本地用于后续配置。 3. 直接调用大模型（之前完成过 coze 对接的同学，直接去二、百炼应用的调用）： 百炼首页：https://bailian.console.aliyun.com/ 当在 COW 中直接调用千问的某一个大模型时，只需要更改 key 和 model 即可。以调用“qwenmax”模型为例，在/root/chatgptonwechat/文件夹下，打开 config.json 文件：需要更改"model"，和添加"dashscope_api_key"。 获取 key 的视频教程： 图文教程：以下是参考配置。 注意：需要“实名认证”后，这些 key 才可以正常使用，如果对话出现“Access to mode denied.Please make sure you are eligible for using the model.”的报错，那说明您没有实名认证，点击去，或查看自己是否已认证。 4. 本地部署教学（node.js）小白推荐： 申请大模型的 API 接口： silicon 硅基接口：官方提供的接入 API 的教学文档。以平时使用的 silicon 接口为例，有众多开源模型（Yi、Qwen、Llama、Gemma 等）免费使用。另赠送 14 元体验金，有效期未知，是个人认为 API 接口最方便最实惠的接口了。silicon 注册和使用地址：邀请码：ESTKPm3J（谢谢支持）。注册登录后，单击左边栏的 API 密钥，单击新建 API 密钥。单击密钥即可完成 API 密钥的复制。silicon 支持多种大模型，也支持文生图、图生图、文生视频，可自行探索。这一步得到 silicon 的密钥即可，我们可以调用千问 2.5 的这个模型，满足日常对话完全没有问题，并且是免费调用的。 智普 GLM4 接口：正在 BigModel.cn 上用智谱 API 打造新一代应用服务，通过专属邀请链接注册即可获得额外 GLM4Air 2000 万 Tokens 好友专属福利，期待和您一起在 BigModel 上探索 AGI 时代的应用；链接：https://www.bigmodel.cn/invite?icode=xxcbnybpRLOsZGMNOkqaLnHEaazDlIZGj9HxftzTbt4%3D。进入个人中心，先完成实名认证，再单击左边栏 API KEYS 或右上角的 API 密钥，进入后单击右上角的添加 API，鼠标移至密钥上方，单击复制即可得到智普的 APIkey。这一步做的是注册 silicon 和智普 GLM 的大模型账号，申请 API 密钥，保存密钥，等下配置需要填写。密钥一定要保管好不能公开，否则后果很严重。
2025-01-06
开源模型与闭源模型调用
以下是关于开源模型与闭源模型调用的相关信息： 1. 通义千问自 2023 年 8 月起密集推出 Qwen、Qwen1.5、Qwen2 三代开源模型，Qwen 系列的 72B、110B 模型多次登顶 HuggingFace 的 Open LLM Leaderboard 开源模型榜单。Qwen2 系列已上线魔搭社区 ModelScope 和阿里云百炼平台，开发者可在魔搭社区体验、下载模型，或通过阿里云百炼平台调用模型 API。同时，Qwen272binstruct 模型已上线中国大语言模型评测竞技场 Compass Arena，所有人都可登录体验其性能或进行对比测评，测评地址为。Compass Arena 集齐了国内主流的 20 多款大模型，用户可在平台选择大模型的两两“对战”。 2. 部分声称性能卓越的中国大模型被揭露为“套壳”产品，如李开复创办的“零一万物”被国外开发者质疑为“套壳”产品，其团队承认在训练过程中沿用了开源架构，但坚称发布的模型从零开始训练并进行了大量原创优化和突破。此外，字节跳动被曝出在其秘密研发的大模型项目中调用了 OpenAI 的 API，并使用 ChatGPT 的输出数据来训练自己的模型，此行为触犯了 OpenAI 使用协议中禁止的条款。 3. 在 LLM 应用程序中，OpenAI 已成为语言模型领域领导者，开发者通常使用 OpenAI API 启动新的 LLM 应用，如 gpt4 或 gpt432k 模型。项目投入生产并规模化时，有更多选择，如切换到 gpt3.5turbo，其比 GPT4 便宜约 50 倍且速度更快；与其他专有供应商如 Anthropic 的 Claude 模型进行实验；将一些请求分流到开源模型，这通常与微调开源基础模型结合更有意义。开源模型有多种推理选项，包括 Hugging Face 和 Replicate 的简单 API 接口、主要云提供商的原始计算资源等。
2025-01-06
单轮对话与多轮对话调用
聊天模型通过一串聊天对话作为输入，并返回一个模型生成的消息作为输出。尽管聊天格式的设计是为了多轮对话更简单，但它对于没有任何对话的单轮任务同样有用（例如以前由 textdavinci003 等指令遵循模型提供的任务）。 API 调用的例子中，messages 参数是主要的输入，必须是一个消息对象的数组，每个对象拥有一个 role（“system”“user”或“assistant”）和 content（消息的内容）。会话可以少至 1 条消息或者有许多条。通常，会话首先使用系统消息（“system”）格式化，然后交替使用用户消息（“user”）和助手消息（“assistant”）。系统消息有助于设定助手的行为，用户消息帮助指示助手，助手消息用于存储之前的响应。当用户的指令是关于之前的消息时，包含聊天历史记录将有所帮助。如果会话包含的 token 超出了模型的限制，则需要用一些方法去缩减会话。 此外，还存在一些与百炼相关的 Q&A： 如何调用工作流？在提示词写了让大模型调用 xxx 工作流，但实际总是不调用。文档里也没有写调用方式。 如何把开始节点的输入参数直接接入到代码节点中进行处理？ 千问模型基本不能处理标点符号，在提示词中各种要求句尾不要有句号，可仍旧有。甚至在工作流中用代码去掉后，回到应用中又给加上了标点符号。同样的提示词，放在扣子中就可以去掉标点符号。 为什么同样的问题，给出的答案区别这么大？接的就是同一个应用，这个问题很早就预测过了，同一个模型。 无论 prompt 怎么变，模型生成完内容后，自动被“不生成任何的标点符号”所替换。这个情况在 max。 COW 调用百炼应用如何支持多轮对话么？
2025-01-06
通过 API 调用大模型
以下是通过 API 调用大模型的相关步骤： 1. 创建大模型问答应用： 进入百炼控制台的，在页面右侧点击新增应用。在对话框，选择智能体应用并创建。 在应用设置页面，模型选择通义千问Plus，其他参数保持默认。您也可以选择输入一些 Prompt，比如设置一些人设以引导大模型更好的应对客户咨询。 在页面右侧可以提问验证模型效果。不过您会发现，目前它还无法准确回答你们公司的商品信息。点击右上角的发布。 2. 获取调用 API 所需的凭证： 在我的应用>应用列表中可以查看所有百炼应用 ID。保存应用 ID 到本地用于后续配置。 在顶部导航栏右侧，点击人型图标，点击 APIKEY 进入我的 APIKEY 页面。在页面右侧，点击创建我的 APIKEY，在弹出窗口中创建一个新 APIKEY。保存 APIKEY 到本地用于后续配置。 3. 直接调用大模型（之前完成过 coze 对接的同学，直接去二、百炼应用的调用）： 百炼首页：https://bailian.console.aliyun.com/ 当在 COW 中直接调用千问的某一个大模型时，只需要更改 key 和 model 即可。以调用“qwenmax”模型为例，在/root/chatgptonwechat/文件夹下，打开 config.json 文件，需要更改"model"，和添加"dashscope_api_key"。 获取 key 的视频教程： 图文教程：以下是参考配置。 注意：需要“实名认证”后，这些 key 才可以正常使用，如果对话出现“Access to mode denied.Please make sure you are eligible for using the model.”的报错，那说明您没有实名认证，点击去，或查看自己是否已认证。 4. 申请大模型的 API 接口（以 silicon 硅基接口为例）： 官方提供的接入 API 的教学文档。 以平时使用的 silicon 接口为例，有众多开源模型（Yi、Qwen、Llama、Gemma 等）免费使用。另赠送 14 元体验金，有效期未知，是个人认为 API 接口最方便最实惠的接口了。 silicon 注册和使用地址： 邀请码：ESTKPm3J（谢谢支持） 注册登录后，单击左边栏的 API 密钥，单击新建 API 密钥。 单击密钥即可完成 API 密钥的复制。 silicon 支持多种大模型，也支持文生图、图生图、文生视频，可自行探索。 这一步得到 silicon 的密钥即可，我们可以调用千问 2.5 的这个模型，满足日常对话完全没有问题，并且是免费调用的。 5. 申请大模型的 API 接口（以智普 GLM4 接口为例）： 正在 BigModel.cn 上用智谱 API 打造新一代应用服务，通过专属邀请链接注册即可获得额外 GLM4Air 2000 万 Tokens 好友专属福利，期待和您一起在 BigModel 上探索 AGI 时代的应用；链接：https://www.bigmodel.cn/invite?icode=xxcbnybpRLOsZGMNOkqaLnHEaazDlIZGj9HxftzTbt4%3D 进入个人中心，先完成实名认证，再单击左边栏 API KEYS 或右上角的 API 密钥，进入后单击右上角的添加 API。 鼠标移至密钥上方，单击复制即可得到智普的 APIkey。 这一步做的是注册 silicon 和智普 GLM 的大模型账号，申请 API 密钥，保存密钥，等下配置需要填写。 密钥一定要保管好不能公开，否则后果很严重。
2025-01-06
开源模型与闭源模型调用
开源模型与闭源模型调用相关信息如下： 通义千问自 2023 年 8 月起密集推出 Qwen、Qwen1.5、Qwen2 三代开源模型，Qwen 系列的 72B、110B 模型多次登顶 HuggingFace 的 Open LLM Leaderboard 开源模型榜单。Qwen2 系列已上线魔搭社区 ModelScope 和阿里云百炼平台，开发者可在魔搭社区体验、下载模型，或通过阿里云百炼平台调用模型 API。同时，Qwen272binstruct 模型已上线中国大语言模型评测竞技场 Compass Arena，所有人都可登录体验其性能或进行对比测评，测评地址为：https://opencompass.org.cn/arena 。Compass Arena 是由上海人工智能实验室和魔搭社区联合推出的大模型测评平台，集齐了国内主流的 20 多款大模型。 部分声称性能卓越的中国大模型被揭露为“套壳”产品，如李开复创办的“零一万物”被国外开发者质疑为“套壳”产品，其团队承认在训练过程中沿用了开源架构。此外，字节跳动被曝出在其秘密研发的大模型项目中调用了 OpenAI 的 API，并使用 ChatGPT 的输出数据来训练自己的模型。 在 LLM 应用程序中，开发者通常使用 OpenAI API 启动新的 LLM 应用，如 gpt4 或 gpt432k 模型。当项目投入生产并规模化时，常见的选择包括切换到更便宜且速度更快的 gpt3.5turbo，与其他专有供应商（如 Anthropic 的 Claude 模型）进行实验，将一些请求分流到开源模型等。开源模型有多种推理选项，包括 Hugging Face 和 Replicate 的简单 API 接口、主要云提供商的原始计算资源等。
2025-01-06
如何应用提示词
以下是关于如何应用提示词的全面指导： 一、理解提示词的作用 提示词向模型提供上下文和指示，其质量直接影响模型输出的质量。 二、学习提示词的构建技巧 1. 明确任务目标，用简洁准确的语言描述。 2. 给予足够的背景信息和示例，帮助模型理解语境。 3. 使用清晰的指令，如“解释”“总结”“创作”等。 4. 对特殊要求应给予明确指示，如输出格式、字数限制等。 三、参考优秀案例 研究和学习已有的优秀提示词案例，可在领域社区、Github 等资源中获取。 四、实践、迭代、优化 多与语言模型互动，根据输出提高提示词质量。尝试各种变体，比较分析输出差异，持续优化提示词构建。 五、活用提示工程工具 目前已有一些提示工程工具可供使用，如 Anthropic 的 Constitutional AI。 六、跟上前沿研究 提示工程是当前前沿研究领域之一，持续关注最新成果和方法论。 七、在星流一站式 AI 设计工具中的应用 1. 在 prompt 输入框中输入提示词，可使用图生图功能辅助创作。 2. 了解提示词的定义：用于描绘想生成的画面，支持中英文输入。 3. 掌握写好提示词的方法： 内容准确，包含人物主体、风格、场景特点、环境光照、画面构图、画质等。 调整负面提示词，帮助 AI 理解不想生成的内容。 利用“加权重”功能，让 AI 明白重点内容。 可使用预设词组，小白用户可点击进行生图。 4. 善用辅助功能，如翻译功能、删除所有提示词、会员加速等。 精心设计的提示词能最大限度发挥语言模型的潜力，多实践、多学习、多总结，终可掌握窍门。请注意，以上内容由 AI 大模型生成，请仔细甄别。
2025-01-06
如何写出高效提示词 prompt
以下是关于如何写出高效提示词 prompt 的一些建议： 1. 明确任务：清晰地定义任务，例如写故事时包含故事背景、角色和主要情节。 2. 提供上下文：若任务需要特定背景知识，在 prompt 中提供足够信息。 3. 使用清晰语言：尽量用简单、清晰的语言描述，避免模糊或歧义词汇。 4. 给出具体要求：如有特定格式或风格要求，在 prompt 中明确指出。 5. 使用示例：若有特定期望结果，提供示例帮助 AI 理解需求。 6. 保持简洁：尽量使 prompt 简洁明了，避免过多信息导致困惑。 7. 使用关键词和标签：有助于 AI 理解任务主题和类型。 8. 测试和调整：生成文本后仔细检查结果，根据需要调整 prompt，可能需要多次迭代。 此外，还需注意以下几点： 对于星流一站式 AI 设计工具： 输入语言方面，不同基础模型对输入语言有不同要求，有的使用自然语言，有的使用单个词组，且支持中英文输入。 写好提示词可参考：利用预设词组、保证内容准确（包含人物主体、风格等要素）、调整负面提示词、利用“加权重”功能突出重点内容，还可使用辅助功能如翻译、删除所有提示词、会员加速等。 Prompt 的专场教程 基础篇： Prompt 是用于指挥 AI 生成所需内容的一段指令，每个单独的提示词叫 tag（关键词）。 支持英语和 emoji，可参考提示词字典。 语法规则包括用英文半角符号逗号分隔 tag，改变 tag 权重有两种写法，还可进行 tag 步数控制。
2025-01-06
提示词的模版化
以下是关于提示词模板化的相关内容： 提示词相关资源： Majinai： 词图： Black Lily： Danbooru 标签超市： 魔咒百科词典： AI 词汇加速器： NovelAI 魔导书： 鳖哲法典： Danbooru tag： AIBooru： 简单的提示词模板： 最终目标是把需求说清楚。例如： GPTs 提示词模板。 案例：Act like a SEO Professional Writer（你是一个 SEO 专家），I need a optimized blog post（我需要一篇优化的博客文章），you will research keywords and incorporate them naturally into the content（你将研究关键字并将它们自然地融入内容中），in the process,you should focus on readability,relevance and proper keyword placement（在这个过程中，你应该关注可读性、相关性和正确的关键词位置），please avoid keyword stuffing or overoptimisation（请避免关键字堆砌或过度优化），input the final result in a well structured format（以结构良好的格式输入最终结果），here is an example:title"Top 10 Tips for Effective SEO Writing:Boost Your Content's Visibility"（这里有一个例子：标题“有效 SEO 写作的 10 大技巧：提高你的内容的知名度”），完整 prompt：Act like a SEO Professional Writer,I need a optimized blog post,you will research keywords and incorporate them naturally into the content,in the process,you should focus on readability,relevance and proper keyword placement,please avoid keyword stuffing or overoptimisation,input the final result in a well structured format,here is an example:title"Top 10 Tips for Effective SEO Writing:Boost Your Content's Visibility" 提示词母体系列（2）的模板构成： 在掌握人物设计整体框架后编写提示词，可借鉴替换方式替换模板。 约束部分：规则放顶部加强约束，底部也有相应约束，整体约束包裹具体提示词以提示模型专注性。 模板结构： 基本信息：包含姓名、性别、年龄和职业，为其他特征奠定基础。 外貌特征：描述物理外观，创造视觉形象。 背景和经历：与基本信息相关，阐述成长环境和重要经历，提供行为和思维方式背景。 性格和价值观：包括性格特征、核心价值观和个人习惯，塑造内在世界。 爱好、特长和语言风格：融合兴趣爱好、特殊才能和表达方式，展现多面性。 人际关系和社交活动：描述社交圈，揭示社会定位和互动方式。 未来规划和目标：勾勒梦想和未来计划，赋予前进动力和方向。
2025-01-06
提示词的模版化
以下是关于提示词模板化的相关内容： 提示词相关资源： Majinai： 词图： Black Lily： Danbooru 标签超市： 魔咒百科词典： AI 词汇加速器： NovelAI 魔导书： 鳖哲法典： Danbooru tag： AIBooru： 简单的提示词模板： 最终目标是把需求说清楚。 示例：Act like a ） 提示词母体系列（2）：再进阶，一分钟创建你的拟人化小助理 模板构成： 在掌握人物设计整体框架后编写提示词，可借鉴替换方式替换模板。 约束部分：规则放顶部加强约束，底部也有相应约束，包裹具体提示词以提示模型专注性。 模板结构： 基本信息：包含姓名、性别、年龄和职业，为其他特征奠定基础。 外貌特征：描述物理外观，创造视觉形象。 背景和经历：与基本信息相关，阐述成长环境和重要经历，提供行为和思维方式背景。 性格和价值观：包括性格特征、核心价值观和个人习惯，塑造内在世界。 爱好、特长和语言风格：融合兴趣爱好、特殊才能和表达方式，展现多面性。 人际关系和社交活动：描述社交圈，揭示社会定位和互动方式。 未来规划和目标：勾勒梦想和未来计划，赋予前进动力和方向。
2025-01-06
提示词的常见结构
提示词常见的结构包括以下几种： 1. 视频模型 Vidu 的提示词结构： 基本构成：主体/场景——场景描述——环境描述——艺术风格/媒介。需调整句式和语序，避免主体物过多/复杂、分散的句式描述，避免模糊术语表达，使用流畅准确的口语化措辞，避免过度文学化叙述，丰富、准确和完整的描述以生成特定艺术风格、满足需求的视频。 与画面联想程度的说明：以单帧图像为例，通过具体详实的位置描述/环境描述进行构图，帮助构建画面基本呈现效果；通过艺术风格描述进一步提升效果和氛围，统一画面风格。 2. DALL·E 自动优化提示词结构： 提示词生成指南：强调使用精确、视觉化的描述而非难以捉摸的概念，清晰明确的指示有助于生成高质量图像。 提示词结构：是一个包括媒介、主题、背景、风格特点等多个元素的模板。媒介指定图像应模仿的艺术形式；主题是图像焦点，包括颜色、姿势和视角等；背景描述主题与环境的关系，包括时间、光线方向等；风格特点包括图像的独特艺术特点。还提供了生成图像和提出新想法的具体步骤和要求，默认设置除非另有说明会使用默认宽高比和风格，同时提醒避免使用违反服务条款的词语或概念。 3. Runway 提示词结构： 基本提示：纯文本提示遵循清晰结构，将相机运动、场景和主题的细节划分为单独部分时最有效。非纯文本提示为图片+基本提示词结构，使用输入图像时应专注描述希望在输出中看到的动作，而非图像内容。
2025-01-06
提示词工程技术
提示词工程师（Prompt Engineer）是在与人工智能模型交互时，负责设计和优化提示的专业人员。他们的目标是通过精心构造的提示，引导模型产生准确、有用和相关的回答。 提示词工程师的主要职责包括： 1. 设计提示：根据用户需求和模型能力设计有效的提示，考虑提示的长度、结构、措辞和信息量等因素，以清晰传达用户意图并引导模型生成满意结果。 2. 优化提示：通过收集用户反馈、分析模型结果和实验不同的提示策略等方式不断优化提示，提高模型性能。 3. 评估提示：使用各种指标如模型的准确率、流畅度和相关性等来评估提示的有效性。 提示词工程师需要具备以下技能和知识： 1. 领域知识：对所工作的领域有深入了解，以便设计出有效的提示。 2. 自然语言处理（NLP）：了解 NLP 的基本原理和技术，能够理解和生成自然语言文本。 3. 人工智能（AI）：了解 AI 的基本原理和技术，能够理解和使用 AI 模型。 4. 沟通能力：具备良好的沟通能力，与用户、团队成员和其他利益相关者有效沟通。 以下是一些提示词工程师工作的实际案例： 在推理任务方面，目前对于大语言模型来说具有挑战性，但通过更高级的提示词工程技术可以改进。例如在涉及数学能力的推理任务中，通过设计不同的提示词和示例来展示算术功能。 在实现让 LLM 获得 tool calling 的功能方面，采用的提示词工程主要有两部分代码组成：提示词注入和工具结果回传。提示词注入用于将工具信息以及使用工具的提示词添加到系统提示中，包含 TOOL_EAXMPLE、tools_instructions、REUTRN_FORMAT 三个部分。工具结果回传则是解析 tool calling 的输出，并将工具返回的内容再次嵌入 LLM。利用正则表达式抓取输出中的“tool”和“parameters”参数，对于不同工具采用相应的处理方式。通过以上提示词工程，可以避免微调，让完全没有 tool calling 能力的 LLM 获得稳定的 tool calling 能力。 提示词工程师是一个新兴的职业，随着人工智能技术的不断发展，对提示词工程师的需求将会越来越大。
2025-01-06
RAG工作流对话调试
RAG（检索增强生成）工作流主要包括以下几个阶段： 1. 问题解析阶段：接收并预处理问题，通过嵌入模型（如 Word2Vec、GloVe、BERT）将问题文本转化为向量，以用于后续检索。 2. 知识库检索阶段：知识库中的文档同样向量化后，比较问题向量与文档向量，选择最相关的信息片段并抽取传递给下一步骤。 3. 信息整合阶段：接收检索到的信息，与上下文构建形成融合、全面的信息文本，整合信息准备进入生成阶段。 4. 大模型生成回答：整合后的信息被转化为向量并输入到 LLM（大语言模型），模型逐词构建回答，最终输出给用户。 RAG 的基本概念： RAG 是一种结合了检索和生成的技术，能让大模型在生成文本时利用额外的数据源，提高生成的质量和准确性。其基本流程为，首先给定用户输入（如问题或话题），RAG 从数据源中检索出相关文本片段（称为上下文），然后将用户输入和检索到的上下文拼接成完整输入传递给大模型（如 GPT），输入通常包含提示指导模型生成期望输出（如答案或摘要），最后从大模型的输出中提取或格式化所需信息返回给用户。 在实际调试预览中，例如： 1. 知识库检索部分：把输入的问题通过 Embedding 做向量化，使用语言模型优化问题、添加接近的检索词，知识库向量检索时抽取条件包含相似度 0.85，通过检索抽取出多个内容块。 2. 大模型对话部分：将相关信息传递给 LLM 最终得到 AI 的回答。
2025-01-06
RAG工作流搭建
RAG（检索增强生成）工作流搭建主要包括以下步骤： 1. 文档加载：从多种不同来源加载文档，如非结构化的 PDF 数据、结构化的 SQL 数据、代码等，LangChain 提供了 100 多种不同的文档加载器。 2. 文本分割：文本分割器把文档切分为指定大小的块，称为“文档块”或者“文档片”。 3. 存储： 将切分好的文档块进行嵌入转换成向量的形式。 将 Embedding 后的向量数据存储到向量数据库。 4. 检索：通过某种检索算法从向量数据库中找到与输入问题相似的嵌入片。 5. 输出：把问题以及检索出来的嵌入片一起提交给 LLM，LLM 会通过问题和检索出来的提示一起来生成更加合理的答案。 RAG 是一种结合了检索和生成的技术，其基本流程为：首先，给定用户输入，如问题或话题，从数据源中检索出相关文本片段作为上下文。然后，将用户输入和检索到的上下文拼接成完整输入传递给大模型，并包含提示指导模型生成期望输出。最后，从大模型输出中提取或格式化所需信息返回给用户。 此外，您还可以通过以下方式学习 RAG： 1. 观看视频演示，如： 2. 利用相关 Bot 进行学习，如： Query 改写效果对比 Bot：https://www.coze.cn/store/bot/7400553639514800182?panel=1&bid=6dkplh1r43g15 RAG 全流程学习 Bot：结合大模型，模拟 RAG 的离线存储和在线检索全流程。 您还可以参考如何使用 LangChain 开发一个简单的 RAG 问答应用。
2025-01-06
RAG工作流对话调试
RAG 工作流主要包括以下几个阶段： 1. 问题解析阶段：接收并预处理问题，通过嵌入模型（如 Word2Vec、GloVe、BERT）将问题文本转化为向量，以用于后续检索。 2. 知识库检索阶段：知识库中的文档同样向量化后，比较问题向量与文档向量，选择最相关的信息片段并抽取传递给下一步骤。 3. 信息整合阶段：接收检索到的信息，与上下文构建形成融合、全面的信息文本，整合信息准备进入生成阶段。 4. 大模型生成回答：整合后的信息被转化为向量并输入到 LLM（大语言模型），模型逐词构建回答，最终输出给用户。 RAG 是一种结合了检索和生成的技术，其基本流程为：首先，给定用户输入（如问题或话题），RAG 从数据源（如网页、文档、数据库记录）中检索出相关文本片段（即上下文）。然后，将用户输入和检索到的上下文拼接成完整输入传递给大模型（如 GPT），输入通常包含提示，指导模型生成期望输出（如答案或摘要）。最后，从大模型输出中提取或格式化所需信息返回给用户。 在实际调试预览中，例如： 1. 知识库检索部分：把输入的问题通过 Embedding 做向量化，使用 qwen 语言模型优化问题、添加接近的检索词，知识库向量检索时抽取条件包含相似度 0.85，通过检索抽取出 11 个内容块。 2. 大模型对话部分：将相关信息传递给 LLM（大语言模型），最终得到 AI 的回答。
2025-01-06
RAG工作流搭建
RAG（检索增强生成）工作流搭建主要包括以下步骤： 1. 文档加载：从多种不同来源加载文档，如包括 PDF 在内的非结构化数据、SQL 在内的结构化数据以及 Python、Java 之类的代码等。LangChain 提供了 100 多种不同的文档加载器。 2. 文本分割：文本分割器把 Documents 切分为指定大小的块，称为“文档块”或者“文档片”。 3. 存储： 将切分好的文档块进行嵌入（Embedding）转换成向量的形式。 将 Embedding 后的向量数据存储到向量数据库。 4. 检索：通过某种检索算法找到与输入问题相似的嵌入片。 5. 输出：把问题以及检索出来的嵌入片一起提交给 LLM，LLM 会通过问题和检索出来的提示一起来生成更加合理的答案。 RAG 是一种结合了检索和生成的技术，它可以让大模型在生成文本时利用额外的数据源，从而提高生成的质量和准确性。其基本流程为：首先，给定一个用户的输入，如问题或话题，RAG 会从数据源中检索出相关的文本片段作为上下文。然后，将用户输入和检索到的上下文拼接成完整输入传递给大模型，并包含提示指导模型生成期望输出。最后，从大模型输出中提取或格式化所需信息返回给用户。 此外，还有相关的学习资源，如用 Coze 学习 RAG 的视频演示，包括 Query 改写效果对比 Bot 和 RAG 全流程学习 Bot 等。同时，也有关于如何使用 LangChain 开发简单 RAG 问答应用的介绍。
2025-01-06
RAG工作流搭建
RAG（检索增强生成）工作流搭建主要包括以下步骤： 1. 文档加载：从多种不同来源加载文档，如非结构化的数据（包括 PDF）、结构化的数据（如 SQL）以及代码（如 Python、Java 等）。LangChain 提供了 100 多种不同的文档加载器。 2. 文本分割：文本分割器把 Documents 切分为指定大小的块，称为“文档块”或者“文档片”。 3. 存储： 将切分好的文档块进行嵌入（Embedding）转换成向量的形式。 将 Embedding 后的向量数据存储到向量数据库。 4. 检索：通过某种检索算法找到与输入问题相似的嵌入片。 5. 输出：把问题以及检索出来的嵌入片一起提交给 LLM，LLM 会通过问题和检索出来的提示一起来生成更加合理的答案。 RAG 是一种结合了检索和生成的技术，其基本流程为：首先，给定用户输入（如问题或话题），从数据源中检索出相关文本片段作为上下文。然后，将用户输入和检索到的上下文拼接成完整输入，并添加提示传递给大模型（如 GPT）。最后，从大模型的输出中提取或格式化所需信息返回给用户。 您还可以通过以下资源进一步学习 RAG： 视频演示： Query 改写效果对比 Bot：https://www.coze.cn/store/bot/7400553639514800182?panel=1&bid=6dkplh1r43g15 视频演示： RAG 全流程学习 Bot：
2025-01-06
用macbook M3 Pro芯片，comfyUI 跑工作流，结果黑屏，没有输出图像，是为什么呢
很抱歉，目前没有关于使用 Macbook M3 Pro 芯片运行 ComfyUI 工作流出现黑屏且无输出图像的具体原因的相关知识。可能的原因有多种，比如软件与芯片的兼容性问题、显卡驱动异常、工作流设置错误、系统资源不足等。建议您检查软件的版本是否与您的系统兼容，更新显卡驱动，确认工作流的设置是否正确，以及关闭其他占用大量资源的程序以释放系统资源。
2025-01-03