Coze 可以调用用户自己部署的大模型。例如:
首先进入Coze,点击「个人空间-工作流-创建工作流」,打开创建工作流的弹窗。根据弹窗要求,自定义工作流信息。点击确认后完成工作流的新建,可以看到整个编辑视图与功能如下:其中,左侧「选择节点」模块中,根据我们的子任务需要,实际用上的有:1.插件:提供一系列能力工具,拓展Agent的能力边界。本案例涉及的思维导图、英文音频,因为无法通过LLM生成,就需要依赖插件来实现。2.大模型:调用LLM,实现各项文本内容的生成。本案例的中文翻译、英文大纲、单词注释等都依赖大模型节点。3.代码:支持编写简单的Python、JS脚本,对数据进行处理。而编辑面板中的开始节点、结束节点,则分别对应1.2分解子任务流程图中的原文输入和结果输出环节。接下来,按照流程图,在编辑面板中拖入对应的LLM大模型、插件、代码节点,即可完成工作流框架的搭建。
百炼首页:https://bailian.console.aliyun.com/1、当我们在COW中,去直接调用千问的某一个大模型时,只需要更改key和model即可。以调用“qwen-max”模型为例,在/root/chatgpt-on-wechat/文件夹下,打开config.json文件:需要更改"model",和添加"dashscope_api_key"。那么如何去获取key呢:视频教程:[模型调用教程.mp4](https://bytedance.feishu.cn/space/api/box/stream/download/all/EB8Xbv8wXoiXHCxhEWkcfUVQnFf?allow_redirect=1)图文教程:以下是参考配置:示意图:注意:需要“实名认证”后,这些key才可以正常使用,如果对话出现“Access to mode denied.Please make sure you are eligible for using the model.”的报错,那说明你没有实名认证,点击去[实名认证](https://account.console.aliyun.com/v2?spm=5176.28508143.J_4VYgf18xNlTAyFFbOuOQe.13.38a9154amP8978#/authc/types),或查看自己是否已认证。
用户上传excel后,在工作流中可以拿到excel连接,然后写一个插件通过url下载当前excel,再读取excel里的数据。开始我打算把解析出来的excel数据以单元格的形式存到bot数据库,然后使用大模型根据单元格数据和用户提问生成答案,但是经过多次实验,发现大模型的计算能力特别差,经常出现计算错的情况。比如一张学生成绩表,用户想求某个学科的平均数,大模型可以把当前学科所有分数精准的提取出来,最后一步计算的时候,经常会出现错误。然后就试了一下另外一套方案,把excel转换为数据表,然后使用大模型把用户问题转换为sql,发现这样做生成的sql准确率非常高,基本都能得到想要的结果。coze里不能动态创建表,所以我自己写了一个服务,在动作流里调用这个服务,根据excel的url动态创建表,同时把excel数据插入到表中,最后把服务返回的动态表名存到coze数据库中,这一步是为了后续用户提问问题时,根据表名动态执行sql,拿到数据。最后再根据数据库表字段信息,使用大模型为用户生成3个推荐报表,报表信息中包含标题、描述、查询sql。这里防止一次查询出来的数据过多,传给大模型时候崩溃,所以限制数据100条。拿到sql后,使用插件动态执行sql查询数据,再根据标题和数据使用大模型转换为绘制echarts图表的参数。绘制图表,官方有一个插件,但是这个插件生成的图表图表有点模糊,我自己就写了一个插件,生成的图表图片就清晰度比较高,echarts绘制图表时可以设置缩放,我给图片放大了三倍,清晰度就变高了很多。