直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

本地部署的AI工具

回答

以下是关于本地部署的 AI 工具的相关信息：

目前市面上的 AI 工具分为线上和线下本地部署两种：

  • 线上的优势：出图速度快，不依赖本地显卡配置，无需下载大型模型，能查看其他创作者的作品，但出图分辨率受限，一般最高支持 1024×1024 左右，制作横板、高清图片会受影响。
  • 线下部署的优势：可以添加插件，不卡算力，出图质量高。但使用时电脑基本处于宕机状态，配置不高可能会出现爆显存导致出图失败的情况。

具体的部署步骤（以 windows10 系统为例，mac 系统步骤类似，命令有所不同）：

  1. 安装环境：
    • 点击电脑“系统”，输入“cmd”，回车打开命令窗口。
    • 在命令窗口中，粘贴代码确认是否有 python 和 pip。
    • 若没有，需安装：先安装 python，安装包可通过python-3.12.3-amd64.exe下载，按照步骤安装，关闭窗口再次运行命令确认。
  2. 部署项目：
    • 下载 COW 机器人项目并解压缩。
    • 回到 chatgpt-on-wechat/文件路径下，空白处右键，打开 Powershell 复制粘贴“python app.py”，弹出二维码扫码登录。

注意事项：

  1. 程序在本地运行，关闭窗口进程结束，若要持续使用需保持窗口打开和运行。
  2. 若突然不管用，可点击窗口并按空格。
  3. 配置时，在 config.json 中的 OpneAi_Api 填“http://localhost:3000/api/v1/chat/completions”。

对于游戏截图升级到 KV 品质的应用，可充分发挥线上和线下平台的优势：线上找参考、测试模型，线下作为主要出图工具。先在线上绘图网站的绘图广场发现想要的画风，点击创作获取模型 lora 和 tag，截取游戏人物底图将线上算力集中在人物身上，多批次尝试不同画风得出合适模型+lora 组合，最后在 C 站（https://civitai.com/）下载对应模型到本地加载部署后正式生图。

内容由 AI 大模型生成，请仔细甄别（powered by aily）

参考资料

从游戏截图升级到KV品质，AI居然可以这样用！

目前市面上有线上和线下本地部署的两种AI：线上的优势为出图速度快，不吃本地显卡的配置，且无需自己下载动辄几个G的模型，还能看其他创作者的制作的涩图，但为了节约算力成本他们只支持出最高1024X1024左右的图，制作横板、高清等图片就会受限线下部署的优势为可以自己添加插件，不卡算力，出图质量高于线上平台，但是使用期间电脑基本处于宕机状态，如果配置不高的话还会出现生成半天之后爆显存的情况，导致出图失败[heading3]所以我们这里充分发挥线上和线下平台的优势[content]线上：找参考，测试模型线下：主要的出图工具在线上绘图网站的绘图广场上发现自己想要的画风点击创作，会自动匹配创作的使用的模型lora和tag截取一小张游戏人物作为底图，目的是将线上平台有限的算力全部堆在人物身上多批次，多数量的尝试不同的画风，得出最符合游戏的一款模型+lora组合最后在C站（[https://civitai.com/](https://civitai.com/)）上下载对应模型到本地，加载部署后就可以开始正式生图了！

张梦飞：【全网最细】从LLM大语言模型、知识库到微信机器人的全本地部署教程

以下二选一，建议先选择COW注意：本教程完成后，程序将在你的电脑本地运行，假如你关掉了窗口，那么进程也就结束。所以，如果你想让AI持续使用，就必须保持窗口打开和运行，也就是电脑不能关。以下教程以windows10系统为例/mac系统步骤也是一样，只是打开命令符的命令些许不同，遇到问题问大模型就好了二、安装环境1、点击电脑“系统”，直接输入“cmd”，点击回车，打开命令窗口2、在命令窗口中，粘贴入以下代码，确认是否有python3、粘贴入以下代码，确认是否有pip4、两步命令输入完，核对一下如果有的话，会如上图一样，分别显示出版本号。那么可以跳过“安装环境这一步，直接到“二、部署项目””如果没有的话，会如下图所示，那么需要安装下边的步骤，一步一步安装。5、先进行python的安装，我帮你把python的安装包已经下载好了，直接点击下载：[python-3.12.3-amd64.exe](https://bytedance.feishu.cn/space/api/box/stream/download/all/FQGIbH2OfoYObvxX4IwckLbknvc?allow_redirect=1)5.1 python安装步骤：5.2关闭窗口，再次运行那两行命令会发现已经有了。三、部署项目6、下载COW机器人项目，也给你准备好了，直接下载，然后解压缩。

张梦飞：【全网最细】从LLM大语言模型、知识库到微信机器人的全本地部署教程

17、重新回到chatgpt-on-wechat/这个文件路径下，空白处右键，打开Powershell里复制粘贴进入：python app.py然后将会弹出二维码，扫码登录即可。18、注意：（1）程序将在你的电脑本地运行，假如你关掉了窗口，那么进程也就结束。所以，如果你想让AI持续使用，就必须保持窗口打开和运行。（2）如果你发现突然不管用了，你可以点击一下窗口，然后点一下空格。因为在选中状态下，powershell窗口是不继续执行的。（3）其他操作与服务器部署的操作一致。参考这个教程，在本地部署HOOK机器人。[张梦飞：【保姆级】基于Hook机制的微信AI机器人，无需服务器，运行更稳定，风险更小](https://waytoagi.feishu.cn/wiki/O6I8wg0jViELlDk08t6cbYyLnqh)然后在配置，config.json时，在此处进行配置OpneAi_Api就填这个地址:http://localhost:3000/api/v1/chat/completions然后你登录微信机器人，进行对话，就通了

其他人在问
用100字概括AI如何改变普通人的工作和生活
AI 正在改变普通人的工作和生活。在工作方面，如制造业可实现预测性维护、质量控制等；金融领域能进行风控和信用评估。在生活中，教育有了数字教师和个性化学习计划，医疗能辅助诊断和研发药物，电商提供个性化推荐，还能有个性化的 AI 助手等。
2024-11-13
用100字概括AI的好处，和普通人如何开始使用AI
AI 的好处众多，如辅助创作与学习、推荐与规划、监控与预警、优化与管理、销售与交易等。普通人开始使用 AI 可通过以下方式：英语学习可利用智能辅助工具如 Grammarly 纠错，用语音识别应用如 Call Annie 练习发音；数学学习可用自适应学习系统如 Khan Academy 定制学习路径等。结合 AI 与传统方法能提高学习效果。
2024-11-13
用100字概括普通人应该如何认识AI
普通人认识 AI 可将其视为黑箱，是似人而非人的存在。想让其实现愿望，要通过清晰语言压缩其自由度，明确目标、边界、路径和所需知识。同时，要接受其似人的不稳定性，通过多轮对话修正，因为不能期望一次输入就得到理想结果。
2024-11-13
有没有推荐的AI制作PPT的网站
以下是一些推荐的 AI 制作 PPT 的网站： Gamma：这是一个在线 PPT 制作网站，允许用户通过输入文本和想法提示快速生成幻灯片。它支持嵌入多媒体格式，如 GIF 和视频，以增强演示文稿的吸引力。网址：https://gamma.app/ 美图 AI PPT：由知名图像编辑软件“美图秀秀”的开发团队推出。用户通过输入简单的文本描述来生成专业的 PPT 设计，包含丰富的模板库和设计元素，可根据需求选择不同风格和主题的模板，适用于多种场合。网址：https://www.xdesign.com/ppt/ Mindshow：一款 AI 驱动的 PPT 辅助工具，提供一系列智能设计功能，如自动布局、图像选择和文本优化等，还可能包括互动元素和动画效果。网址：https://www.mindshow.fun/ 讯飞智文：由科大讯飞推出的 AI 辅助文档编辑工具，利用语音识别和自然语言处理领域的技术优势，提供智能文本生成、语音输入、文档格式化等功能。网址：https://zhiwen.xfyun.cn/ 目前市面上大多数 AI 生成 PPT 通常按照以下思路完成设计和制作： 1. AI 生成 PPT 大纲 2. 手动优化大纲 3. 导入工具生成 PPT 4. 优化整体结构 推荐 2 篇市场分析的文章供参考： 《》 《》 另外，还有以下相关工具： 免费工具：讯飞智文 网址：http://zhiwen.xfyun.cn 付费工具：百度文库 网址：https://wenku.baidu.com
2024-11-13
ai的底层逻辑是什么
AI 的底层逻辑包括以下几个方面： 1. 决策方面：AI 在越来越多的场景落地，成为企业管理和决策的重要工具。然而，AI 的决策过程并非真正的“理解”，而是基于复杂计算和模式匹配，其本质存在局限性，是个“黑盒”，输出结果可见但决策过程难以理解，这种不透明性给企业决策带来风险。 2. 大模型方面：大模型依靠概率计算逐字接龙工作，参数规模的增加使其实现量变到质变的突破，从而“涌现”出智能。大模型的知识是通过预训练预先学习和存储的，但在没有外部帮助时，其知识信息可能不完备和滞后。 3. 神经网络方面：计算机科学家以人脑神经元细胞结构为灵感，利用概览模型在计算机上实现对人脑结构的模仿，但大模型内部如同人类大脑一样是混沌系统，即使是开发者也无法解释其微观细节。
2024-11-13
帮我看看，把同化的图片用ai绘画二次生成会自己的图片，来售卖这样的想法怎么样
将通过同化的图片用 AI 绘画二次生成的图片进行售卖这种想法是不可取的，并且可能涉及到法律风险和道德问题。 从法律角度来看，同化的图片可能存在版权归属问题，如果未经授权对其进行二次创作并售卖，可能会侵犯原作者的知识产权。 从道德层面上讲，这种行为也不符合诚实和公平的原则。 在 AI 绘画领域，应当尊重原创和知识产权，通过合法合规的方式进行创作和商业活动。
2024-11-13
你的知识库是怎么部署的
部署个人知识库需要考虑硬件配置和相关技术原理。 硬件方面： 生成文字大模型，最低配置为 8G RAM + 4G VRAM，建议配置为 16G RAM + 8G VRAM，理想配置为 32G RAM + 24G VRAM（如果要跑 GPT3.5 差不多性能的大模型）。 生成图片大模型（比如跑 SD），最低配置为 16G RAM + 4G VRAM，建议配置为 32G RAM + 12G VRAM。 生成音频大模型，最低配置为 8G VRAM，建议配置为 24G VRAM。 技术原理方面： 利用大模型的能力搭建知识库本身就是一个 RAG 技术的应用。在这个过程中，首先检索外部数据，然后在生成步骤中将这些数据传递给 LLM。 RAG 应用包括文档加载、文本分割、存储、检索和输出这 5 个过程。 文档加载：从多种不同来源加载文档，LangChain 提供了 100 多种不同的文档加载器。 文本分割：把 Documents 切分为指定大小的块。 存储：涉及将切分好的文档块进行嵌入转换成向量的形式，并将 Embedding 后的向量数据存储到向量数据库。 检索：通过某种检索算法找到与输入问题相似的嵌入片。 输出：把问题以及检索出来的嵌入片一起提交给 LLM，LLM 会通过问题和检索出来的提示一起来生成更加合理的答案。 此外，搭建基于 GPT API 的定制化知识库，涉及给 GPT 输入（投喂）定制化的知识。GPT3.5 一次交互（输入和输出）只支持最高 4096 个 Token。为了处理大量领域知识，OpenAI 提供了 embedding API 解决方案。embeddings 是一个浮点数字的向量（列表），两个向量之间的距离衡量它们的关联性，小距离表示高关联度。
2024-11-11
Mac部署stable diffusion
在 Mac 上部署 Stable Diffusion 存在一定限制，功能可能不全且出错率偏高，严重影响使用体验。个人建议升级设备或者采用云服务器玩耍。 如果您仍想在 Mac 上部署，可以参考以下步骤： 1. 电脑硬件要求： 系统：无明确针对 Mac 的特定系统要求。 显卡：未明确针对 Mac 的显卡要求。 硬盘：留有足够的空间，最低 100G 起步（包括模型）。 2. 环境安装： 未提供 Mac 系统下的具体环境安装步骤。 由于 Mac 系统的特殊性，更推荐您采用云端部署的方式，相关教程可参考：https://qa3dhma45mc.feishu.cn/wiki/A6WYw1Nm0ikGplkuO9Ecwomqnnd
2024-11-06
联想异能者配置i5-12450八核，32GB内存,1TB固态硬盘，用于本地部署开源大模型可以部署哪些开源大模型
以下是一些您的联想异能者配置（i512450 八核，32GB 内存，1TB 固态硬盘）可部署的开源大模型及相关信息： ComfyUI 相比 WebUI 配置更低，系统资源占用更少，出图速度更快。ComfyUI 最低可在小于 3G 的 GPU 上运行，甚至没有 GPU 光用 CPU 也可以运行，但速度极慢。SDXL 出来后提高了运行配置，最低需要 8GB 显存+32GB 运行内存，12GB 流畅运行，推荐 16GB 以上。玩 SDwebui 和 ComfyUI 建议使用 6GB 以上的显存的 NVIDIA 显卡（N 卡），内存在 16G 以上。硬盘会影响加载模型的速度，所以最好把软件和模型部署在 SSD（固态硬盘）上。 截止 2024 年 5 月，主流的 AI 笔记本电脑主要是一些专门为人工智能和深度学习设计的高性能移动工作站。一些知名品牌包括微软第 11 代 Surface Pro、微星 Creator/Workstation 系列、技嘉 Aero/Aorus 系列、戴尔 Precision 移动工作站、惠普 ZBook 移动工作站、联想 ThinkPad P 系列。这些笔记本通常配备强大的 GPU（如 NVIDIA RTX 系列）、大容量内存（32GB 以上）和高速固态硬盘，还通常预装了 NVIDIA CUDA、cuDNN 等深度学习框架，以及各种 AI 开发工具。但这类高端 AI 笔记本价格相对较高，通常在 2000 美元以上。用户可根据自身需求和预算选择合适型号，并关注散热、续航等实际使用体验。 请注意，配置上不封顶，您可根据自己的需求和预算来选择。
2024-11-04
如何做大模型的云端部署与微调
做大模型的云端部署与微调，主要包括以下步骤： 1. 选择合适的部署方式： 本地环境部署。 云计算平台部署。 分布式部署。 模型压缩和量化。 公共云服务商部署。需根据自身的资源、安全和性能需求进行选择。 2. 准备训练所需的数据和计算资源： 确保有足够的训练数据覆盖目标应用场景。 准备足够的计算资源，如 GPU 服务器或云计算资源。 3. 选择合适的预训练模型作为基础： 可以使用开源的预训练模型如 BERT、GPT 等。 也可以自行训练一个基础模型。 4. 针对目标任务进行模型微调训练： 根据具体应用场景对预训练模型进行微调训练。 优化模型结构和训练过程以提高性能。 5. 部署和调试模型： 将训练好的模型部署到生产环境。 对部署的模型进行在线调试和性能优化。 6. 注意安全性和隐私保护： 大模型涉及大量数据和隐私信息，需要重视安全性和合规性。 例如，对于 SDXL 的大模型，本地部署时要注意模型分为 base+refiner 以及配套的 VAE 模型，需将其放入对应文件夹，并在秋叶启动器中将 webUI 的版本升级到 1.5 以上。而对于 Llama3 的部署和微调，实操分两部分，包括本地部署并通过 webdemo 对话，以及使用特定数据集进行微调，具体流程为购买服务器、安装代码环境、下载通用模型和数据集、挑选微调框架、编写微调程序和验证结果。 总的来说，部署和微调大模型需要综合考虑多方面因素，根据具体需求选择合适的方法，并注意优化各个环节以提高模型性能和应用效果。
2024-10-26
docker部署qwen
以下是关于 Docker 部署相关问题的综合回答： 容器编排模板： 容器编排模板是一种配置文件，用于在 Docker 中部署和管理多个容器，可一键部署复杂环境，无需手动配置细节，如配置 COW 组件与微信和极简未来平台交互。 使用 Docker 部署 COW 组件的原因： Docker 提供隔离运行环境，确保应用在任何环境稳定运行，简化安装和配置过程，保证环境一致，便于管理和维护。 配置多个前缀触发机器人回复的原因： 配置如“bot”、“@bot”等多个前缀，能确保机器人只在特定情况回复，避免群聊或私聊中频繁干扰，提高响应准确性和用户体验。 扫码登录失败的解决办法： 1. 重启 Docker 容器：在宝塔面板中找到对应容器，点击“重启”。 2. 检查网络连接：确保服务器和微信客户端能正常访问互联网。 3. 重新扫描二维码：等待容器重启后，重新扫描日志中生成的二维码。 费用相关： 使用 AI 微信聊天机器人的费用实际上不高，极简未来平台按使用量收费，对一般用户费用相对低廉，充值少量费用通常可用很长时间，且平台提供每天签到免费领积分福利，进一步降低使用成本。使用极简未来平台创建 AI 机器人的具体费用未明确给出。
2024-10-20
我想在云服务器部署使用 dify 和 comfyui ，云服务器机器配置需要什么要求呢
在云服务器部署使用 Diffy 和 ComfyUI ，云服务器机器配置要求如下： 1. 系统：Windows 7 以上。 2. 显卡要求：NVIDIA 独立显卡且显存至少 4G 起步。但 SDXL 出来后提高了运行配置，最低需要 8GB 显存+32GB 运行内存，12GB 流畅运行，推荐 16GB 以上。 3. 硬盘：留有足够的空间，最低 100G 起步（包括模型）。硬盘会影响加载模型的速度，最好把软件和模型部署在 SSD（固态硬盘）上。 4. 内存：最低 32GB，越高越好，最低配会经常爆显存。 需要注意的是，ComfyUI 相比 WebUI 配置更低，系统资源占用更少，出图速度更快，最低可在小于 3G 的 GPU 上运行，甚至没有 GPU 光用 CPU 也可以运行，但速度极慢。如果您的电脑能顺畅清晰地玩 3A 游戏，那玩 WebUI 和 ComfyUI 通常也没问题。配置上不封顶，根据自己的需求和预算来选择即可。
2024-10-19
有没有可以帮我做作品集的ai工具？
以下为您介绍一些可以帮助制作作品集的 AI 工具： 1. GPT4、WPS AI 和 chatPPT：可以用于制作 PPT 类型的作品集。例如，在制作 PPT 时，大纲内容、排版、动画等都可以借助这些工具完成。 2. Kickresume 的 AI 简历写作器：使用 OpenAI 的 GPT4 语言模型自动生成简历，能为简历摘要、工作经验和教育等专业部分编写内容，并保持一致语调。 3. Rezi：是一个受到众多用户信任的领先 AI 简历构建平台，使用先进的 AI 技术自动化创建可雇佣简历的各个方面，包括写作、编辑、格式化和优化。 4. Huntr 的 AI 简历构建器：提供免费的简历模板，以及 AI 生成的总结、技能、成就生成器和 AI 驱动的简历工作匹配。 更多相关工具，您还可以查看：https://www.waytoagi.com/category/79 。 需要注意的是，AI 工具生成的内容可能需要您进一步甄别和调整，以满足您的具体需求。
2024-11-12
我有一份PPT，我想对这个PPT进行图像设计等美观化处理，怎么来做？使用哪个工具好？
以下为您介绍一些可用于对 PPT 进行图像设计等美观化处理的工具及相关信息： 1. Gamma：这是一个在线 PPT 制作网站，允许用户通过输入文本和想法提示快速生成幻灯片。它支持嵌入多媒体格式，如 GIF 和视频，以增强演示文稿的吸引力。网址：https://gamma.app/ 2. 美图 AI PPT：由知名图像编辑软件“美图秀秀”的开发团队推出。用户通过输入简单的文本描述来生成专业的 PPT 设计，包含丰富的模板库和设计元素，可根据需求选择不同风格和主题的模板，适用于多种场合。网址：https://www.xdesign.com/ppt/ 3. Mindshow：一款 AI 驱动的 PPT 辅助工具，提供一系列智能设计功能，如自动布局、图像选择和文本优化等，还可能包括互动元素和动画效果。网址：https://www.mindshow.fun/ 4. 讯飞智文：由科大讯飞推出的 AI 辅助文档编辑工具，利用科大讯飞在语音识别和自然语言处理领域的技术优势，提供智能文本生成、语音输入、文档格式化等功能。网址：https://zhiwen.xfyun.cn/ 在对 PPT 进行排版时，工具的选择可根据个人顺手程度决定，对于打工人来说，PPT 是较为熟练的选择。关于尺寸问题，如果想要打印，4:3 的比例比较适合童书绘本的比例，出图时可按此比例，文字可直接排版到画面上；若出图为 16:9 横板，排版时 4:3 可把文字放在图片下面。若要发小红书或者小绿书，竖版更合适，比例选 3:4，出图也选竖版。制作 H5 时，出图选竖版，比例选 9:16。所有排版尺寸在 PPT 里都可以选。另外，PPT 里的删除背景功能对于基础抠图很有用。用 PPT 另存为图片时，直接选 jpg 或 png 格式会降低图片清晰度，可先另存为“增强型 Windows 源文件”格式，再用画图软件打开另存为 JPG 以得到高清图。
2024-11-12
可以调用不同大预言模型的整合工具推荐
以下是为您推荐的可以调用不同大语言模型的整合工具： 1. Poe：由 Quora 开发，有 APP 版本，支持跨端使用。集成了 Chat GPT、GPT4、Claude+、Claude、Dragonfly 等模型，同时支持用户自建 Chatbot。不同语言模型回复效果有差异，适合需要调用多种大语言模型的用户。访问地址： 。Dragonfly 擅长给出较短的回答，并擅长在输入中给出示例时遵循指示。Claude 更擅长创造性回复，配合 Poe 中的提问引导，非常适合在查阅资料时使用，有时能够给出超越直接使用 Chat GPT 时的体验（但和 Chat GPT 一样，Claude 也时常会给出一些错误回复，一些问题可以尝试在两个模型中都问一遍提升信息准确性）。此外支持分享用户和模型的对话内容，但 GPT4、Claude+产品需要付费订阅使用。 2. 国内的一些模型，如智谱和文心，在文生图方面有一定能力。 另外，大模型工具可根据自身条件准备，推荐顺序为：1. chatGPT 4.0 2. kimichat 3. 智谱清言 4 。
2024-11-12
有哪些工具直接可以调用国外的多个LLM
以下是一些关于能够调用国外多个 LLM 的相关信息： 开源项目作者 ailm 提出一种仅使用提示词工程和精巧的代码设计，让 LLM 获得稳定的 tool calling 能力，使用多个不具备该功能的 LLM 进行实验，成功率达 100%，工作基于 comfyui 开发，适合无代码基础的人员复现和修改。 在高级提示词工程领域，工具、连接器和技能的整合能显著增强 LLM 的能力。工具是指 LLM 可利用的外部功能或服务，扩展任务范围；连接器是 LLM 与外部工具或服务的接口，管理数据交换和通信；技能是 LLM 可执行的专门功能。 目前开源模型与专有产品存在差距但在缩小，如 Meta 的 LLaMa 模型引发一系列变体。当开源 LLM 达到一定准确度水平时，预计会有大量实验等。开发人员对 LLM 操作工具的研究尚不深入，一些工具如缓存（基于 Redis）、Weights & Biases、MLflow、PromptLayer、Helicone 等得到较广泛使用，还有新工具用于验证 LLM 输出或检测攻击。多数操作工具鼓励使用自身的 Python 客户端进行 LLM 调用。
2024-11-12
集成LLM的工具
以下是关于集成 LLM 的工具的相关内容： 一、“手臂和腿部”：赋予模型使用工具的能力 1. 从知识挖掘转向行动导向，增加模型使用工具的能力，有望在消费者和企业领域实现一系列用例。 对于消费者，LLMs 可能给出菜谱建议并订购食材，或推荐早午餐地点并预订餐桌。 在企业领域，创始人可接入 LLMs 使应用程序更易用，如在 Salesforce 等应用中，用户能用自然语言更新，模型自动更改，减少维护 CRM 所需时间。 2. LLM 虽对常见系统有复杂理解能力，但无法执行提取的信息。不过，公司在不断改善其使用工具的能力。 老牌公司如必应、谷歌和初创公司如 Perplexity、You.com 推出搜索 API。 AI21 Labs 推出 JurassicX，解决独立 LLMs 缺陷。 OpenAI 推出 ChatGPT 插件测试版，允许与多种工具交互，在 GPT3.5 和 GPT4 中引入函数调用，允许开发者将 GPT 能力与外部工具链接。 二、无需微调，仅用提示词工程就能让 LLM 获得 tool calling 的功能 1. 提示词工程主要由提示词注入和工具结果回传两部分代码组成。 2. 提示词注入用于将工具信息及使用工具的提示词添加到系统提示中，包含 TOOL_EAXMPLE、tools_instructions、REUTRN_FORMAT 三个部分。 TOOL_EAXMPLE 提示 LLM 如何理解和使用工具，编写时用无关紧要工具作示例避免混淆。 tools_instructions 是通用工具字典转换成 LLM 可读的工具列表，可动态调整。 REUTRN_FORMAT 定义调用 API 格式。 3. 工具结果回传阶段利用正则表达式抓取输出中的“tool”和“parameters”参数，对于 interpreter 工具使用另一种正则表达式提取 LLM 输出的代码，提高使用成功率。通过识别 LLM 返回的调用工具字典，提取对应值传入工具函数，将结果以 observation 角色返回给 LLM，对于不接受某些角色的 LLM 接口，可改为回传给 user 角色。通过以上提示词工程，可让无 tool calling 能力的 LLM 获得稳定的该能力。
2024-11-12
利用gpt-4模型的AI工具有哪些
以下是一些利用 GPT4 模型的 AI 工具： 1. Kickresume 的 AI 简历写作器：使用 GPT4 语言模型自动生成简历，能为简历摘要、工作经验和教育等专业部分编写内容，并保持一致语调。 2. Rezi：受到超过 200 万用户信任的领先 AI 简历构建平台，使用先进的 AI 技术自动化创建可雇佣简历的各个方面，包括写作、编辑、格式化和优化。 3. Huntr 的 AI 简历构建器：提供免费的简历模板，以及 AI 生成的总结/技能/成就生成器和 AI 驱动的简历工作匹配。 更多 AI 简历产品，还可以查看这里：https://www.waytoagi.com/category/79 。您可以根据自己的需要选择最适合的工具。 此外，在生成式人工智能领域，GPT4 有以下突破点： 1. 赋予模型使用工具的能力，如 OpenAI 推出的 ChatGPT 插件测试版，允许与多种工具交互。 2. 在计划和解决问题方面具有一定能力，能通过玩游戏或模拟环境快速学习和从经验中学习。 3. 在许多任务上达到人类水平的表现，对人类的理解有所提升。 4. 但也存在一些限制，如架构中的自回归特性导致缺乏规划能力等。
2024-11-12