直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

在外层bot,能100%调用工作流的方法

回答

在外层 bot 中封装工作流的步骤如下:

  1. 点击「发布」发布工作流后,创建一个 bot。
  2. 填写 Bot 介绍。
  3. 切换 Bot 模式为“单 Agent(工作流模式)”,因为此 Agent 只需在输入英文文章时返回精读结果,无需外层 bot 对输入进行其他任务理解,可直接调用工作流。
  4. 将配置好的工作流添加到 Bot 中。
  5. 填写开场白,引导用户使用,并附上开场白文案。
  6. 关闭开场白预置问题,因为使用流程中用不到。

完成封装后,可在「预览与调试」区进行最终体验与调试。如果一切正常,就能获得成功结果。但在发布文章时,外层 bot 可能存在未知 bug,同一段 USER_INPUT 在工作流编辑面板中试运行正常,但在外层 bot 运行时可能报错。暂时无法确定原因,猜测可能是外层 bot 的并发不够稳定,此时可直接在工作流编辑面板中获取精度结果。若自行实验时多次报错且无法定位原因,不要急于怪自己,作者已将相关 bug 提交给 Coze 团队,期待优化。

另外,您还可以为 Bot 设置触发器(Triggers),使 Bot 在特定时间或接收到特定事件时自动执行任务。可配置的触发器类型有定时触发、事件触发。定时触发让 Bot 在指定时间执行任务,无需编写代码;事件触发的触发器会生成 Webhook URL,当服务端向其发送 HTTPS 请求时触发任务执行。

触发器触发时的执行任务方式有 Bot 提示词、调用插件、调用工作流。Bot 提示词需通过自然语言设置提示词,触发时提示词自动发送给 Bot,Bot 根据提示词向用户发送提醒消息;调用插件需为触发器添加一个插件,触发时 Bot 调用插件获取返回结果并发送给用户;调用工作流需为触发器添加一个工作流,若工作流有输入参数则需传入参数值,触发时 Bot 调用工作流获取返回结果并发送给用户。

此外,Coze 支持用户在与 Bot 聊天时设置定时任务,当用户在会话内点击推荐任务后,Bot 将会确认并创建定时任务。需要注意的是,一个 Bot 内的触发器最多可添加 10 个,且触发器仅当 Bot 发布飞书时生效。

内容由 AI 大模型生成,请仔细甄别(powered by aily)

参考资料

一泽Eze:万字实践教程,全面入门 Coze 工作流|用 Coze 打造 AI 精读专家智能体,复刻 10 万粉公众号的创作生产力

在点击「发布」,发布工作流后,我们就需要创建一个bot,进行最终的工作流封装。封装过程如下:1.创建Bot2.填写Bot介绍3.切换Bot模式为“单Agent(工作流模式)”:因为这个Agent,我们只需要每次输入英文文章的时候,返回精读结果,所以不需要用外层bot对输入进行其他任务理解,直接调用工作流即可。4.把我们刚才配置好的工作流,添加到Bot中5.填写开场白,引导用户使用:附开场白文案⬇️6.关闭开场白预置问题:因为使用流程里用不到,所以直接关掉。[heading3]外层bot调试[content]完成封装后,即可在「预览与调试」区进行最终体验与调试:——如果一切正常,你就能获得这样的成功结果,yes~Btw:在笔者发布文章时,外层bot仍存在一定的未知bug,同一段USER_INPUT,在工作流编辑面板中试运行完全ok,但到了外层bot进行运行时,就容易出现报错。暂时无法确定原因,猜测可能是外层bot的并发做的不够稳定,不如直接在工作流编辑面板中获取精度结果。如果自行实验时,发现多次报错且无法定位问题原因,就不要急着怪自己啦🤣。笔者也已经把相关bug提交给了Coze团队,希望能加紧优化吧。

一泽Eze:万字实践教程,全面入门 Coze 工作流|用 Coze 打造 AI 精读专家智能体,复刻 10 万粉公众号的创作生产力

在点击「发布」,发布工作流后,我们就需要创建一个bot,进行最终的工作流封装。封装过程如下:1.创建Bot2.填写Bot介绍3.切换Bot模式为“单Agent(工作流模式)”:因为这个Agent,我们只需要每次输入英文文章的时候,返回精读结果,所以不需要用外层bot对输入进行其他任务理解,直接调用工作流即可。4.把我们刚才配置好的工作流,添加到Bot中5.填写开场白,引导用户使用:附开场白文案⬇️6.关闭开场白预置问题:因为使用流程里用不到,所以直接关掉。[heading3]外层bot调试[content]完成封装后,即可在「预览与调试」区进行最终体验与调试:——如果一切正常,你就能获得这样的成功结果,yes~Btw:在笔者发布文章时,外层bot仍存在一定的未知bug,同一段USER_INPUT,在工作流编辑面板中试运行完全ok,但到了外层bot进行运行时,就容易出现报错。暂时无法确定原因,猜测可能是外层bot的并发做的不够稳定,不如直接在工作流编辑面板中获取精度结果。如果自行实验时,发现多次报错且无法定位问题原因,就不要急着怪自己啦🤣。笔者也已经把相关bug提交给了Coze团队,希望能加紧优化吧。

触发器

一个Bot内的触发器最多可添加10个。触发器仅当Bot发布飞书时生效。

其他人在问
用100字概括AI如何改变普通人的工作和生活
AI 正在改变普通人的工作和生活。在工作方面,如制造业可实现预测性维护、质量控制等;金融领域能进行风控和信用评估。在生活中,教育有了数字教师和个性化学习计划,医疗能辅助诊断和研发药物,电商提供个性化推荐,还能有个性化的 AI 助手等。
2024-11-13
用100字概括AI的好处,和普通人如何开始使用AI
AI 的好处众多,如辅助创作与学习、推荐与规划、监控与预警、优化与管理、销售与交易等。普通人开始使用 AI 可通过以下方式:英语学习可利用智能辅助工具如 Grammarly 纠错,用语音识别应用如 Call Annie 练习发音;数学学习可用自适应学习系统如 Khan Academy 定制学习路径等。结合 AI 与传统方法能提高学习效果。
2024-11-13
用100字概括普通人应该如何认识AI
普通人认识 AI 可将其视为黑箱,是似人而非人的存在。想让其实现愿望,要通过清晰语言压缩其自由度,明确目标、边界、路径和所需知识。同时,要接受其似人的不稳定性,通过多轮对话修正,因为不能期望一次输入就得到理想结果。
2024-11-13
结合知识库的商业项目, 给我100个ai创业的落地方案
很抱歉,目前知识库中没有为您提供 100 个 AI 创业的落地方案。但以下为您列举一些常见的 AI 创业方向供您参考: 1. 开发基于 AI 的智能客服系统,为企业提供高效的客户服务解决方案。 2. 利用 AI 技术进行精准营销,通过数据分析和预测为企业制定个性化的营销策略。 3. 打造 AI 驱动的医疗诊断辅助工具,帮助医生更准确地诊断疾病。 4. 研发 AI 教育软件,实现个性化学习和智能辅导。 5. 构建 AI 智能家居系统,实现家居设备的自动化控制和智能化管理。 6. 开发 AI 图像识别技术,应用于安防、交通等领域。 7. 推出 AI 金融风险评估模型,为金融机构提供更准确的风险评估。 8. 打造 AI 内容创作平台,生成文章、视频脚本等。 9. 研发 AI 人力资源管理工具,进行人才筛选和绩效评估。 10. 构建 AI 物流优化系统,提高物流效率和降低成本。 您可以根据自身的资源和优势,进一步细化和拓展这些方向,形成具体的创业方案。
2024-10-18
a800 ,H100,a10,H800这4个显卡能力有啥差异
以下是 A800、H100、A10、H800 这 4 个显卡在能力上的一些差异: 在训练与推理方面: 对于大型模型的训练,许多模型在 NVIDIA H100 上最具成本效益,但获取在 NVIDIA H100 上运行的模型较难,且通常需要长期合作承诺。如今更多的选择是在 NVIDIA A100 上运行大多数模型训练,但对于大型集群仍需要长期承诺。 大型语言模型(LLM)的参数数量众多,通常需要分布到多个卡中,即使进行 LLM 推理,可能也需要 H100 或 A100。但较小的模型(例如 Stable Diffusion)需要的 VRAM 要少得多,初创公司也会使用 A10 等显卡。 在内存要求方面: 大型 LLM 的参数数量太多,任何单卡都无法容纳,需要类似于训练的多卡设置。 对于一些较小的模型,A10 等显卡可能就能够满足其内存需求。 需要注意的是,决定选择哪种 GPU 主要是一个技术决策,需要根据具体应用来确定最具成本效益的选择。
2024-10-16
可以辅助我写出一步100万字左右的小说吗
目前利用 AI 辅助创作小说是可行的,但要直接生成一部 100 万字左右的完整小说还存在一定困难。例如,有人在小说大赛中让 GPT4 做修改,一开始有模有样,但很快暴露出记性不好的缺点。求助 Claude 时,关键情节还被改没了。 另外,在利用 Prompt 逆向工程让 ChatGPT 模仿作家风格时,有一些写作技巧,如描述特定氛围或情境作为开头引入主题,使用长句和复合句构建叙述,适当使用比喻和排比等修辞手法,描述具体事例和细节支持观点或论点,尽量用主动语态,适度使用连接词,每个段落具有逻辑性并为后续情节或转折做铺垫,语气正式客观并根据主题定情感色彩,使用合适标点符号强调节奏和情感,结尾在高潮或转折点留给读者深思。 但总体来说,完全依靠 AI 生成一部 100 万字的小说还不太现实,可能需要您与 AI 工具的多次交互和修改完善。
2024-09-07
如何让微信bot以语音条格式回复消息?
要让微信 bot 以语音条格式回复消息,您可以参考以下步骤: 1. 找到高级下开场白,点击展开,填写开场白文案、开场白预置问题。 2. 勾选用户问题建议:在 Bot 回复后,根据 Prompt 提供最多 3 条用户提问建议。 3. 添加语音选择:让 Bot 不仅会写,还会通过语音跟您交流。 4. 点击“发布”,选择发布平台,其中包括 Bot Store、豆包、飞书、微信客服、微信公众号(服务号)、微信公众号(订阅号)、掘金等。微信客服是重点部分,相比其他平台发布到微信客服稍微复杂一些。 另外,对于零基础模板化搭建 AI 微信聊天机器人,还需注意: 1. 配置腾讯云轻量应用服务器。 2. 登录微信绑定 COW 组件,建议使用闲置微信号,避免使用日常使用的微信号,以免造成不必要的麻烦。按照以下操作进行登录:找到刚刚部署成功的 COW 服务对应的容器,点击日志按钮进入日志界面,将日志输出的界面滚动到最下面的位置,会看到登录微信的二维码,用闲置微信号扫码登录。若扫描二维码出现问题,可退回到容器配置处重启容器服务,再重新扫码登录。若想修改 COW 组件的配置,进入对应的编排模板的配置界面,点击模板编辑,修改对应的配置参数,保存后回到容器编排界面重新部署新的容器编排。
2024-10-22
有没有 AI bot 做意图识别的资料
以下是关于 AI bot 做意图识别的资料: 尽管意图识别在自然语言处理领域已被广泛讨论,且通过各种小规模模型处理过此任务,但随着大型模型兴起,尤其是用作智能体的 Brain 模块时,它们在意图识别方面承担了主要工作。 意图识别的定义是:当用户输入指令,指令通过感知模块传递到 Brain 模块,Brain 模块需对指令做出反应,本质上是一种分类任务,即识别并区分用户的具体意图。在单一智能体架构或复杂的多智能体系统中,意图识别都至关重要。 通过一些常见的例子,如 Siri、小爱同学及其他手机品牌搭载的智能助手,当向它们发出指令时能做出相应反应,此过程中意图识别起到关键作用。大型模型执行意图识别任务时,主要基于前期通过大量数据训练得到的模型,可能是专门针对意图识别任务训练的大型模型,也可能是通过在特定任务中微调来优化的模型,通过微调能使模型更好地适应特定领域的任务需求。
2024-10-21
有发小红书视频链接,能自动提取完整文字文案的bot或者工具吗,谢谢~
以下为您介绍一款可以自动提取小红书视频链接完整文字文案的工具: 名称:小红书文案专家 功能价值: 见过多个爆款文案,只需输入网页链接或视频链接,就能生成对应的小红书文案。 可辅助创作者生成能一键复制发布的初稿,提供创意和内容,节约 10 倍文字内容创作时间。 应用链接:https://www.coze.cn/s/ij5C6LWd/ 设计思路: 痛点:个人时间有限,希望有人帮忙写初稿再进行二创,同时希望能生成配图。 实现思路:为自己和团队设计工作流,让 AI 按照运营日常思路和流程工作。 一期产品功能: 可以提取任何链接中的标题和内容。 按照小红书平台文案风格重新整理内容。 加入 emoji 表情包,使文案更有活力。 为文案配图片。 二期计划功能: 持续优化升级。 增加全网搜索热点功能。 提炼热点新闻或事件关键信息。 结合用户想要生成的内容方向,输出文案和配图。 另外,在使用类似工具时,需要将需求做细颗粒度的分解,把大任务拆成小任务,小任务拆成更小的任务,并为每个小任务选择合适的工具/模型来实现。
2024-10-17
如何把自己克隆成一个bot
要把自己克隆成一个 bot ,可以参考以下步骤: 1. 访问,单击目标 Bot。 2. 在 Bot 的编排页面右上角,单击创建副本。 3. 在弹出的对话框中,设置 Bot 名称、选择 Bot 的所属团队,然后单击确定。 4. 可以在新打开的配置页面修改复制的 Bot 配置: 点击 Bot 名称旁边的编辑图标来更改 Bot 名称。 在人设与回复逻辑区域,调整 Bot 的角色特征和技能。可以单击优化使用 AI 帮您优化 Bot 的提示词,以便大模型更好的理解。 在技能区域,为 Bot 配置插件、工作流、知识库等信息。 在预览与调试区域,给 Bot 发送消息,测试 Bot 效果。 5. 当完成调试后,可单击发布将 Bot 发布到社交应用中,在应用中使用 Bot。 此外,从案例入门,三分钟捏 Bot 的步骤如下: 1. 登录控制台: 登录扣子控制台(coze.cn)。 使用手机号或抖音注册/登录。 2. 在我的空间创建 Agent: 在扣子主页左上角点击“创建 Bot”。 选择空间名称为“个人空间”、Bot 名称为“第一个 Bot”,并点击“确认”完成配置。如需使用其他空间,请先创建后再选择;Bot 名称可以自定义。 3. 编写 Prompt:填写 Prompt,即自己想要创建的 Bot 功能说明。第一次可以使用一个简短的词语作为 Prompt 提示词。 4. 优化 Prompt:点击“优化”,使用来帮忙优化。 搭建您的第一个 AI Bot 还包括以下步骤: 1. 为 Bot 添加技能:设定 Bot 的人设与回复逻辑后,需要为 Bot 配置对应的技能,以保证其可以按照预期完成目标任务。以获取 AI 新闻的 Bot 为例,需要为它添加一个搜索新闻的接口来获取 AI 相关的新闻。 在 Bot 编排页面的技能区域,单击插件功能对应的+图标。 在添加插件页面,选择阅读新闻>头条新闻> getToutiaoNews,然后单击新增。 修改人设与回复逻辑,指示 Bot 使用 getToutiaoNews 插件来搜索 AI 新闻。 (可选)也可以为 Bot 添加开场白,开场白功能目前支持豆包、微信公众号(服务号)。 2. 测试您的 Bot:配置好 Bot 后,就可以在预览与调试区域中测试 Bot 是否符合预期。可单击清除图标清除对话记录。 3. 发布您的 Bot:完成测试后,就可以将 Bot 发布到社交渠道中使用这个 Bot。 在 Bot 的编排页面右上角,单击发布。 在发布页面输入发布记录,并勾选发布渠道。 单击发布。 更多内容,请访问 Coze 官方文档: 英文版:https://www.coze.com/docs/welcome.html 中文版:https://www.coze.cn/docs/guides/welcome 相似问题: 如何配置一个智能体? 创建智能体相关文档 Coze 怎么用? 关于扣子的介绍 问:Coze 是什么?
2024-10-13
chatbot 设计
在设计 ChatBot 时,应以 STAR 原则(情境、任务、行动、结果)为指导进行需求拆解。 情境方面,用户期望通过与大型模型交互获得基于企业内部知识的精准回答,这要求系统既能理解和响应用户查询,又要确保信息安全。 任务上,系统需分析用户问题,并基于企业知识库提供准确答案,这需要具备高级语言理解能力,且能安全访问和利用企业内部知识。 行动包括: 1. 设计并实施一系列步骤处理潜在安全问题,确保用户输入安全。 2. 回复中若遇不匹配或有害内容,系统应拒绝回答。 3. 采用指代消解等技术手段提升问答准确性和用户满意度。 结果是开发一个能精准理解用户意图、安全访问知识库并提供满意答案的智能回复应用,该应用不仅能提升用户体验,还会成为企业内部知识管理和服务的重要工具。 为达成这些目标,需制定详尽流程图以可视化每个环节和决策点,确保设计和开发中每个步骤清晰理解和执行,从而保证智能回复系统满足用户需求且高度安全准确。从拆解出的知识回复流程图可见,简单知识问答背后隐藏诸多环节,实际工作中还有更复杂小环节需进一步拆解,这需要在实际项目中实战操作。
2024-10-09
扣子生成的BOT如何在微信里用
将扣子生成的 BOT 发布到微信主要有两种方式:发布到微信订阅号和发布到微信客服。 发布到微信订阅号: 使用限制: 一个 Bot 只能发布到一个微信订阅号。 支持在回复订阅号时上传图片,但图片大小不能超过 10MB。 每次回复消息时,只能回复一张图片。 如果模型返回的是图文混排的内容,则直接返回完整的 Markdown 内容。 如果模型生成了多张 Markdown 语法的图片内容,最终会解析返回第一张图片,多余图片会被丢弃。 前提条件: 已经创建了微信订阅号。 已经配置了 Bot。 步骤: 获取微信订阅号的开发者 ID: 1. 访问并登录您的订阅号。 2. 在设置与开发>基本配置页面,获取开发者 ID。 在扣子中配置并发布 Bot: 1. 在 Bots 页面,选择需要发布的 Bot。 2. 在 Bot 编排页面,单击发布。 3. 在发布页面,找到微信公众号(订阅号)发布渠道,单击配置。 4. 在 AppID 输入框内,填写微信订阅号的开发者 ID,并单击保存。 5. 跳转到公众平台账号授权页面,使用公众平台绑定的管理员个人微信号扫描二维码。 6. 在微信移动端,根据页面提示选择订阅号并确认授权。 7. 授权成功的页面提示如下: 8. 返回 Bot 发布页面,选中微信公众号(订阅号)发布平台,并设置发布记录后,单击页面右上角的发布。 成功发布后,您可以前往微信订阅号与 Bot 对话。 发布到微信客服: 支持在回复微信客服时上传图片,但图片大小不能超过 10MB。 确保已经完成了企业认证。 前提条件: 已开通了。 已搭建了 Bot。 步骤: 获取微信客服配置信息: 1. 登录平台。 2. 单击企业信息,然后复制企业 ID。 3. 单击开发配置,然后再单击开始使用。 4. 单击随机获取按钮分别生成并保存 Token 和 EncodingAESKey。复制 Token 和 EncodingAESKey 后,先不要关闭该页面。 在扣子中配置微信客服信息: 1. 在 Bots 页面,选择需要发布的 Bot。 2. 在 Bot 编排页面,单击发布。 3. 找到微信客服渠道,然后单击配置。 4. 输入步骤一中复制的企业 ID,然后单击下一步。 5. 输入步骤一中复制的 Token 和 EncodingAESKey,然后单击下一步。 6. 复制 webhook 地址。复制 webhook 地址后,先不要关闭该配置窗口。 配置回调地址: 1. 回到步骤一中的开始企业接入页面,输入上一步中复制的 webhook 地址。单击完成。确保粘贴回调地址时没有引入空格,空格会导致校验失败。 2. 在开发配置页面,复制 secret。 3. 单击客服账号,复制账号。 发布 Bot: 1. 回到扣子平台的微信客服渠道配置页面,输入复制的 secret 和客服名称。 2. 单击保存。 3. 在发布记录中输入发布信息,然后勾选微信客服渠道,再单击发布。 4. 发布完成后,单击立即对话登录微信客服,体验 Bot 效果。 常见问题: 如果收不到机器人回复消息,可尝试通过以下方法解决: 查看微信客服的启用状态: 1. 登录,在应用管理页面,点击微信客服。 2. 确保没有启用微信客服功能。如果已经开启了微信客服功能,需要关闭。关闭后,该应用在工作台入口将被隐藏,员工不可使用。请谨慎评估。 检查近期是否有登录企业微信应用。 确保企业至少有一个成员通过手机号验证/微信授权登录过企业微信应用。 如果还是有问题,可以发送邮件至 feedback@coze.cn 反馈。
2024-10-08
可以调用不同大预言模型的整合工具推荐
以下是为您推荐的可以调用不同大语言模型的整合工具: 1. Poe:由 Quora 开发,有 APP 版本,支持跨端使用。集成了 Chat GPT、GPT4、Claude+、Claude、Dragonfly 等模型,同时支持用户自建 Chatbot。不同语言模型回复效果有差异,适合需要调用多种大语言模型的用户。访问地址: 。Dragonfly 擅长给出较短的回答,并擅长在输入中给出示例时遵循指示。Claude 更擅长创造性回复,配合 Poe 中的提问引导,非常适合在查阅资料时使用,有时能够给出超越直接使用 Chat GPT 时的体验(但和 Chat GPT 一样,Claude 也时常会给出一些错误回复,一些问题可以尝试在两个模型中都问一遍提升信息准确性)。此外支持分享用户和模型的对话内容,但 GPT4、Claude+产品需要付费订阅使用。 2. 国内的一些模型,如智谱和文心,在文生图方面有一定能力。 另外,大模型工具可根据自身条件准备,推荐顺序为:1. chatGPT 4.0 2. kimichat 3. 智谱清言 4 。
2024-11-12
有哪些工具直接可以调用国外的多个LLM
以下是一些关于能够调用国外多个 LLM 的相关信息: 开源项目作者 ailm 提出一种仅使用提示词工程和精巧的代码设计,让 LLM 获得稳定的 tool calling 能力,使用多个不具备该功能的 LLM 进行实验,成功率达 100%,工作基于 comfyui 开发,适合无代码基础的人员复现和修改。 在高级提示词工程领域,工具、连接器和技能的整合能显著增强 LLM 的能力。工具是指 LLM 可利用的外部功能或服务,扩展任务范围;连接器是 LLM 与外部工具或服务的接口,管理数据交换和通信;技能是 LLM 可执行的专门功能。 目前开源模型与专有产品存在差距但在缩小,如 Meta 的 LLaMa 模型引发一系列变体。当开源 LLM 达到一定准确度水平时,预计会有大量实验等。开发人员对 LLM 操作工具的研究尚不深入,一些工具如缓存(基于 Redis)、Weights & Biases、MLflow、PromptLayer、Helicone 等得到较广泛使用,还有新工具用于验证 LLM 输出或检测攻击。多数操作工具鼓励使用自身的 Python 客户端进行 LLM 调用。
2024-11-12
如何快速创建调用API的应用
以下是快速创建调用 API 应用的步骤: 1. 了解请求的组成部分: Body:用于传递请求主体,GET 方法中通常不使用。 Path:定义请求路径,GET 方法中可编码参数在其中。 Query:定义请求查询部分,是 GET 方法常用的参数传递方式。 Header:定义 HTTP 请求头信息,通常不用于传递参数。 2. 配置输出参数: 在配置输出参数界面,可自动解析或手动新增参数。 包括设置参数名称、描述、类型、是否必填等。 对于 Object 类型参数,可添加子项。 3. 调试与校验: 在调试与校验界面填写输入参数并运行。 查看输出结果,Request 为输入传参,Response 为返回值。 4. 发布:在插件详情页右上角点击发布。 以创建调用 themoviedb.org API 应用为例: 注册并申请 API KEY:前往 themoviedb.org 注册,依次点击右上角头像 账户设置 API 请求 API 密钥 click here,选择 Developer 开发者,填写相关信息并提交,获取 API 读访问令牌备用。 构建 GPT:新创建 GPT,设置名字和描述,添加 Instructions 内容,并添加 Webpilot Action 和粘贴相关 Schema 内容。
2024-11-08
字节跳动也被曝出在其秘密研发的大模型项目中存在违规调用 OpenAI 的 API ,你如何看待
2023 年下半年,部分声称性能卓越的中国大模型被揭露为“套壳”产品。如李开复创办的“零一万物”被国外开发者质疑为“套壳”产品,其团队承认在训练过程中沿用了开源架构,但强调是为快速起步。12 月,字节跳动被曝出在其秘密研发的大模型项目中调用了 OpenAI 的 API 并使用 ChatGPT 的输出数据来训练自己的模型。OpenAI 反应迅速坚决,暂停相关账号并表示将进一步调查。字节跳动回应称在 2023 年初技术团队在大模型探索初期有部分工程师将 GPT 的 API 服务用于较小模型的实验性项目研究,且自 2023 年 4 月引入调用规范检查后已停止。此外,不仅国内存在此类现象,24 年也有更多被指“套壳”的事件。同时,提示词攻击在业内是公开的秘密,国内外各大著名的 AI 厂商几乎无一幸免,系统提示处于泄露状态,大模型应用脆弱,数据易被获取。
2024-11-03
deepseek支持function calling,在dify的agent的prompt里要如何写才能调用工具。我说的是如何写提示词,才能让deepseek通过Function Calling调用工具。
要在 Dify 的 agent 的 prompt 里让 DeepSeek 通过 Function Calling 调用工具,您可以参考以下内容: 1. 提示词工程主要由提示词注入和工具结果回传两部分代码组成。 提示词注入:将工具信息及使用工具的提示词添加到系统提示中。INSTRUCTION 包含 TOOL_EAXMPLE、tools_instructions、REUTRN_FORMAT 三个部分。TOOL_EAXMPLE 用于提示 LLM 如何理解和使用工具,编写时注意用无关紧要的工具作示例避免混淆。tools_instructions 是将通用工具字典转换成 LLM 可读的工具列表,可动态调整。REUTRN_FORMAT 定义调用 API 的格式。 工具结果回传:利用正则表达式抓取输出中的“tool”和“parameters”参数。对于 interpreter 工具,使用另一种正则表达式提取 LLM 输出的代码。通过识别 LLM 返回的调用工具的字典,提取对应值传入工具函数,将结果以 observation 角色返回给 LLM,对于不接受该角色的 LLM 接口,可改为回传给 user 角色。 2. 当模型判断需要调用工具函数时,检测到返回的 json 里 function_call 字段不为空,则执行异步函数调用,采用回调方式获取函数返回结果。通过判断返回的 functionCall 的名称执行不同函数并返回结果。 3. 在大模型请求中,最大的两个变量是 Messages 和 Tools。Messages 里放 sys prompt、memory、user query;Tools 里放能力的 Json Scheme,两者组合形成整个完全的 Prompt。Agent 应用开发的本质是动态 Prompt 拼接,通过工程化手段将业务需求转述成新的 prompt。短期记忆在 messages 里的历史 QA 对,长期记忆是 summary 之后的文本再塞回 system prompt。RAG 是向量相似性检索,可放在 system prompt 里或通过 tools 触发检索。Action 是触发 tool_calls 标记进入请求循环,拿模型生成的请求参数进行 API request,再把结果返回给大模型交互,没有 tool_calls 标记则循环结束。Multi Agents 是更换 system prompt 和 tools。
2024-10-24
deepseek支持function calling,在dify的agent的prompt里要如何写才能调用工具
在 Dify 的 agent 的 prompt 中实现调用工具的方法如下: 1. 提示词注入阶段: INSTRUCTION 为注入到系统提示中的字符串,包含 TOOL_EAXMPLE、tools_instructions、REUTRN_FORMAT 三个部分。 TOOL_EAXMPLE 用于提示 LLM 如何理解和使用工具,编写时应使用无关紧要的工具作为示例,避免 LLM 混淆。 tools_instructions 是将通用的工具字典转换成 LLM 可读的工具列表,实际使用时可动态调整。 REUTRN_FORMAT 定义了调用 API 的格式。 2. 工具结果回传阶段: 利用正则表达式抓取输出中的“tool”和“parameters”参数。 对于 interpreter 工具,使用另一种正则表达式提取 LLM 输出的代码,提高使用成功率。 通过识别 LLM 返回的调用工具的字典,提取对应的值,传入相应的工具函数,将工具返回的结果以 observation 的角色返回给 LLM。对于不接受该角色的 LLM 接口,可改为回传给 user 角色。 此外,当模型判断需要调用工具函数时,即检测到返回的 json 里面 function_call 字段不为空,则执行异步函数调用,可通过判断返回的 functionCall 的名称来执行不同的函数并返回结果。 在提升可控性方面,有以下建议: 1. 放弃 JSON mode,虽然模型能力提升能输出 JSON,但仍会出错,且不能保证 100%正确,而模型厂家对 Function Calling 有微调优化。 2. 降低 System prompt 依赖,化繁为简,能在 Tools 里写的东西尽量写在里面。 3. API Response 增强 Prompt,这一步的准确率很高,可增加给大模型的约束和提示。 4. 尽量让模型做选择,而不是填空,减少 token 输出,提高速度和准确率。 5. 利用 Tools 来做 Route,构建 Multi Agent,术业有专攻。
2024-10-24