对于大语言模型使用的未来趋势，是闭源云端还是开源本地部署，作为普通用户是否有必要了解本地部署知识，并且是否有必要自己搭建agent以及rag？

部署个人知识库需要考虑硬件配置和相关技术原理。 硬件方面： 生成文字大模型，最低配置为 8G RAM + 4G VRAM，建议配置为 16G RAM + 8G VRAM，理想配置为 32G RAM + 24G VRAM（如果要跑 GPT3.5 差不多性能的大模型）。 生成图片大模型（比如跑 SD），最低配置为 16G RAM + 4G VRAM，建议配置为 32G RAM + 12G VRAM。 生成音频大模型，最低配置为 8G VRAM，建议配置为 24G VRAM。 技术原理方面： 利用大模型的能力搭建知识库本身就是一个 RAG 技术的应用。在这个过程中，首先检索外部数据，然后在生成步骤中将这些数据传递给 LLM。 RAG 应用包括文档加载、文本分割、存储、检索和输出这 5 个过程。 文档加载：从多种不同来源加载文档，LangChain 提供了 100 多种不同的文档加载器。 文本分割：把 Documents 切分为指定大小的块。 存储：涉及将切分好的文档块进行嵌入转换成向量的形式，并将 Embedding 后的向量数据存储到向量数据库。 检索：通过某种检索算法找到与输入问题相似的嵌入片。 输出：把问题以及检索出来的嵌入片一起提交给 LLM，LLM 会通过问题和检索出来的提示一起来生成更加合理的答案。 此外，搭建基于 GPT API 的定制化知识库，涉及给 GPT 输入（投喂）定制化的知识。GPT3.5 一次交互（输入和输出）只支持最高 4096 个 Token。为了处理大量领域知识，OpenAI 提供了 embedding API 解决方案。embeddings 是一个浮点数字的向量（列表），两个向量之间的距离衡量它们的关联性，小距离表示高关联度。

以下是关于本地部署的 AI 工具的相关信息： 目前市面上的 AI 工具分为线上和线下本地部署两种： 线上的优势：出图速度快，不依赖本地显卡配置，无需下载大型模型，能查看其他创作者的作品，但出图分辨率受限，一般最高支持 1024×1024 左右，制作横板、高清图片会受影响。 线下部署的优势：可以添加插件，不卡算力，出图质量高。但使用时电脑基本处于宕机状态，配置不高可能会出现爆显存导致出图失败的情况。 具体的部署步骤（以 windows10 系统为例，mac 系统步骤类似，命令有所不同）： 1. 安装环境： 点击电脑“系统”，输入“cmd”，回车打开命令窗口。 在命令窗口中，粘贴代码确认是否有 python 和 pip。 若没有，需安装：先安装 python，安装包可通过下载，按照步骤安装，关闭窗口再次运行命令确认。 2. 部署项目： 下载 COW 机器人项目并解压缩。 回到 chatgptonwechat/文件路径下，空白处右键，打开 Powershell 复制粘贴“python app.py”，弹出二维码扫码登录。 注意事项： 1. 程序在本地运行，关闭窗口进程结束，若要持续使用需保持窗口打开和运行。 2. 若突然不管用，可点击窗口并按空格。 3. 配置时，在 config.json 中的 OpneAi_Api 填“http://localhost:3000/api/v1/chat/completions”。 对于游戏截图升级到 KV 品质的应用，可充分发挥线上和线下平台的优势：线上找参考、测试模型，线下作为主要出图工具。先在线上绘图网站的绘图广场发现想要的画风，点击创作获取模型 lora 和 tag，截取游戏人物底图将线上算力集中在人物身上，多批次尝试不同画风得出合适模型+lora 组合，最后在 C 站（）下载对应模型到本地加载部署后正式生图。

在 Mac 上部署 Stable Diffusion 存在一定限制，功能可能不全且出错率偏高，严重影响使用体验。个人建议升级设备或者采用云服务器玩耍。 如果您仍想在 Mac 上部署，可以参考以下步骤： 1. 电脑硬件要求： 系统：无明确针对 Mac 的特定系统要求。 显卡：未明确针对 Mac 的显卡要求。 硬盘：留有足够的空间，最低 100G 起步（包括模型）。 2. 环境安装： 未提供 Mac 系统下的具体环境安装步骤。 由于 Mac 系统的特殊性，更推荐您采用云端部署的方式，相关教程可参考：https://qa3dhma45mc.feishu.cn/wiki/A6WYw1Nm0ikGplkuO9Ecwomqnnd

以下是一些您的联想异能者配置（i512450 八核，32GB 内存，1TB 固态硬盘）可部署的开源大模型及相关信息： ComfyUI 相比 WebUI 配置更低，系统资源占用更少，出图速度更快。ComfyUI 最低可在小于 3G 的 GPU 上运行，甚至没有 GPU 光用 CPU 也可以运行，但速度极慢。SDXL 出来后提高了运行配置，最低需要 8GB 显存+32GB 运行内存，12GB 流畅运行，推荐 16GB 以上。玩 SDwebui 和 ComfyUI 建议使用 6GB 以上的显存的 NVIDIA 显卡（N 卡），内存在 16G 以上。硬盘会影响加载模型的速度，所以最好把软件和模型部署在 SSD（固态硬盘）上。 截止 2024 年 5 月，主流的 AI 笔记本电脑主要是一些专门为人工智能和深度学习设计的高性能移动工作站。一些知名品牌包括微软第 11 代 Surface Pro、微星 Creator/Workstation 系列、技嘉 Aero/Aorus 系列、戴尔 Precision 移动工作站、惠普 ZBook 移动工作站、联想 ThinkPad P 系列。这些笔记本通常配备强大的 GPU（如 NVIDIA RTX 系列）、大容量内存（32GB 以上）和高速固态硬盘，还通常预装了 NVIDIA CUDA、cuDNN 等深度学习框架，以及各种 AI 开发工具。但这类高端 AI 笔记本价格相对较高，通常在 2000 美元以上。用户可根据自身需求和预算选择合适型号，并关注散热、续航等实际使用体验。 请注意，配置上不封顶，您可根据自己的需求和预算来选择。

做大模型的云端部署与微调，主要包括以下步骤： 1. 选择合适的部署方式： 本地环境部署。 云计算平台部署。 分布式部署。 模型压缩和量化。 公共云服务商部署。需根据自身的资源、安全和性能需求进行选择。 2. 准备训练所需的数据和计算资源： 确保有足够的训练数据覆盖目标应用场景。 准备足够的计算资源，如 GPU 服务器或云计算资源。 3. 选择合适的预训练模型作为基础： 可以使用开源的预训练模型如 BERT、GPT 等。 也可以自行训练一个基础模型。 4. 针对目标任务进行模型微调训练： 根据具体应用场景对预训练模型进行微调训练。 优化模型结构和训练过程以提高性能。 5. 部署和调试模型： 将训练好的模型部署到生产环境。 对部署的模型进行在线调试和性能优化。 6. 注意安全性和隐私保护： 大模型涉及大量数据和隐私信息，需要重视安全性和合规性。 例如，对于 SDXL 的大模型，本地部署时要注意模型分为 base+refiner 以及配套的 VAE 模型，需将其放入对应文件夹，并在秋叶启动器中将 webUI 的版本升级到 1.5 以上。而对于 Llama3 的部署和微调，实操分两部分，包括本地部署并通过 webdemo 对话，以及使用特定数据集进行微调，具体流程为购买服务器、安装代码环境、下载通用模型和数据集、挑选微调框架、编写微调程序和验证结果。 总的来说，部署和微调大模型需要综合考虑多方面因素，根据具体需求选择合适的方法，并注意优化各个环节以提高模型性能和应用效果。

以下是关于 Docker 部署相关问题的综合回答： 容器编排模板： 容器编排模板是一种配置文件，用于在 Docker 中部署和管理多个容器，可一键部署复杂环境，无需手动配置细节，如配置 COW 组件与微信和极简未来平台交互。 使用 Docker 部署 COW 组件的原因： Docker 提供隔离运行环境，确保应用在任何环境稳定运行，简化安装和配置过程，保证环境一致，便于管理和维护。 配置多个前缀触发机器人回复的原因： 配置如“bot”、“@bot”等多个前缀，能确保机器人只在特定情况回复，避免群聊或私聊中频繁干扰，提高响应准确性和用户体验。 扫码登录失败的解决办法： 1. 重启 Docker 容器：在宝塔面板中找到对应容器，点击“重启”。 2. 检查网络连接：确保服务器和微信客户端能正常访问互联网。 3. 重新扫描二维码：等待容器重启后，重新扫描日志中生成的二维码。 费用相关： 使用 AI 微信聊天机器人的费用实际上不高，极简未来平台按使用量收费，对一般用户费用相对低廉，充值少量费用通常可用很长时间，且平台提供每天签到免费领积分福利，进一步降低使用成本。使用极简未来平台创建 AI 机器人的具体费用未明确给出。

小七姐的提示词课程包括双证班的第一期和第二期，以下是课程内容的介绍： 自由学习时间包含 22 节视频课，授课形式为视频课+知识星球作业+社群答疑。 提示词基础：包括“Hello，大模型”“提示词基础方法”“开始编写你的第一条提示词”“按需求设计和迭代提示词”等课程。 元能力：涵盖“AI+学习能力”“AI+逻辑思维”“AI+表达能力”等课程。 提示词实践：包含“需求分析”“结构框架”“反馈迭代”“结构化提示词”“思维链”等课程。 提示词工具化：包括“工作流”“提示词封装”“GPTs 基础教程”“GPTs 实战案例”等课程。 2024 更新：包括“GPT 新版本指南”“GPTs 基础教程”“GPTs 设置方法”“GPTs 实战案例”“提示词学习综述”“知识库场景”“知识库工具”“知识库有效语句”“知识库方法论”“知识库思维方式”“优秀提示词拆解”“提示词编写常见误区”等内容。 社群答疑：学员有问题可在学习群随时提问，老师和助教会详尽答疑，针对复杂问题，小七姐会录制短视频帮助理解。 对于是否有必要全部学习，取决于您的具体需求和基础。如果您是初学者，建议系统学习以打下扎实基础；如果您已有一定基础，可以根据自身薄弱环节有针对性地选择学习。

抱歉，您提供的内容与“人工智能训练师证书是否有必要报班”这一问题无关。关于此问题，需要综合多方面因素来考虑。报班学习有其优势，比如能获得系统的课程安排、专业的指导、实践机会以及与同行交流的环境。但也并非绝对必要，如果您具备较强的自学能力、能够获取优质的学习资源并且有明确的学习计划，通过自学也有可能达到获取证书的要求。最终是否报班取决于您的个人情况和学习偏好。

AI 视频技术攻关具有多方面的必要性。 首先，随着视频内容在互联网和各种应用中的广泛传播，对视频质量、处理速度和智能化程度的要求不断提高。通过技术攻关，可以提升视频的分辨率、帧率和色彩准确性，为用户带来更优质的视觉体验。 其次，AI 视频技术在安防监控、医疗诊断、自动驾驶等领域具有关键作用。攻关相关技术能够提高对目标的识别和跟踪精度，及时发现异常情况，保障公共安全和医疗准确性，提升自动驾驶的安全性。 再者，在娱乐产业中，如虚拟现实（VR）、增强现实（AR）等领域，AI 视频技术的突破可以创造更具沉浸感和互动性的内容，推动产业的创新和发展。 最后，从技术发展的角度来看，AI 视频技术的攻关有助于推动人工智能技术的整体进步，促进相关算法和模型的优化，为其他领域的应用提供借鉴和支持。

AI 视频生成技术攻关具有必要性，原因如下： 1. 2023 年是人工智能视频领域的飞跃之年，虽然已见证了多种视频生成工具的问世，但仍存在局限性，如大部分只能生成 3 到 4 秒的视频，视频质量参差不齐，角色风格一致性等难题尚未解决，距离仅凭文本提示制作出类似皮克斯电影的短片还有很长的路要走。 2. 过去一年在视频生成技术上的进展预示着正处于巨大变革的初期阶段，与图像生成技术的发展相似，相关模型在持续进步，衍生技术也开始流行。 3. AI 视频生成依旧处于技术驱动的发展模式中，更大的技术突破是产业现阶段的核心推动因素，目前的视频生成产业可能处于 GPT2 的时期，技术的突破可能远比想象中更快。 4. 视频生成作为多模态生成中难度最大的领域，存在很多应用问题，需要更大的技术突破来解决。 AIGC 即人工智能生成内容，是利用人工智能技术自动创作文本、音频、图像和视频等内容的新兴领域。人工智能赋能内容创作包括 AI 文本生成、AI 音频生成、AI 图像生成和 AI 视频生成。尽管 AIGC 技术展现出巨大潜力，但也面临技术、伦理和质量控制等挑战，技术成熟度需进一步提升，同时要考虑版权、隐私和伦理等方面的问题。未来，随着技术的完善和规范的建立，AIGC 有望成为互联网内容产业的重要驱动力，为用户提供更加丰富和个性化的体验。

要使用 RAG（RetrievalAugmented Generation，检索增强生成）来做一个回答用户问题的聊天机器人，可以按照以下步骤进行： 1. 加载所需的库和模块：包括用于解析 RSS 订阅源的 feedparse，用于在 Python 程序中跑大模型的 ollama（使用前需确保 ollama 服务已开启并下载好模型）。 2. 从订阅源获取内容：通过特定函数从指定的 RSS 订阅 URL 提取内容，如需接收多个 URL 可稍作改动。然后使用专门的文本拆分器将长文本拆分成较小的块，并附带相关元数据，如标题、发布日期和链接，最终将这些文档合并成一个列表用于后续处理。 3. 为文档内容生成向量：使用文本向量模型 bgem3（可从 https://huggingface.co/BAAI/bgem3 下载，假设放置在某个路径 /path/to/bgem3 ），通过 FAISS 创建一个高效的向量存储。 4. 基于用户的问题，从向量数据库中检索相关段落，并根据设定的阈值进行过滤，最后让模型参考上下文信息回答用户的问题，从而实现 RAG。 5. 创建网页 UI：通过 gradio 创建网页 UI 并进行评测。 6. 技术栈选择：经过调研，可先采取 Langchain + Ollama 的技术栈作为 demo 实现，后续也可考虑使用 dify、fastgpt 等更直观易用的 AI 开发平台。 Langchain 简介：是当前大模型应用开发的主流框架之一，提供一系列工具和接口，其核心在于“链”概念，包括 Model I/O、Retrieval、Chains、Agents、Memory 和 Callbacks 等组件，生态系统还包括 LangSmith、LangGraph 和 LangServe 等工具。 Ollama 简介：是一个开箱即用的用于在本地运行大模型的框架。 总结： 1. 本文展示了如何使用 Langchain 和 Ollama 技术栈在本地部署一个资讯问答机器人，同时结合 RSSHub 来处理和提供资讯。 2. 上下文数据质量和大模型的性能决定了 RAG 系统性能的上限。 3. RAG 通过结合检索技术和生成模型来提升答案的质量和相关性，可以缓解大模型幻觉、信息滞后的问题，但并不意味着可以消除。

以下是一些关于 RAG 的研究报告： 1. 《RAG 系统开发中的 12 大痛点及解决方案》：研究了开发检索增强生成（RAG）系统时遇到的 12 个主要难题，并提出了相应的解决策略。通过将挑战和解决方法并列在一张表中，更直观地展示了设计和实施 RAG 系统面临的复杂挑战。 2. 《小七姐：精读翻译《提示词设计和工程：入门与高级方法》》：提到在解决预训练大型语言模型（LLM）的限制方面，RAG 成为关键创新，通过动态整合外部知识扩展了 LLM。还介绍了 RAG 感知提示词技术，如 FLARE 以创新方法增强 LLM 性能。 3. 《通过增强 PDF 结构识别，革新检索增强生成技术》：包含对 PDF 识别对 RAG 影响的实验研究，通过列举 ChatDOC 在查询特斯拉用户手册中的具体案例，突出了 ChatDOC 解析方法在处理表格和呈现方式上的有效性。

以下是关于如何利用飞书构建 RAG 系统的相关内容： RAG 的常见误区： 随意输入任何文档就能得到准确回答：这是常见误区，RAG 流程包含离线环节（文档解析、切割及向量化写入向量数据库）和在线检索环节（用户问题理解、初步检索、重排序及大模型生成），任何环节都会影响最终质量，有效实现 RAG 系统需要考虑多个复杂因素，如文档预处理、高效索引、相关性排序等，需要专业知识和持续优化。 RAG 完全消除了 AI 的幻觉：虽然 RAG 可以显著减少幻觉，但并不能完全消除，只要有大模型参与，就有可能产生幻觉。 RAG 不消耗大模型的 Token 了：从大模型生成结果环节可以看出，最终还是将知识库中检索的结果给到 LLM，然后由 LLM 进行重新整理输出，所以 RAG 仍然消耗大模型的 Token。 本地部署资讯问答机器人：Langchain + Ollama + RSSHub 实现 RAG： 加载所需的库和模块，如 feedparse 用于解析 RSS 订阅源，ollama 用于在 python 程序中跑大模型，使用前需确保 ollama 服务已开启并下载好模型。 从订阅源获取内容，通过函数从指定的 RSS 订阅 url 提取内容，将长文本拆分成较小的块，并附带相关元数据，最终合并成列表返回。 为文档内容生成向量，使用文本向量模型 bgem3，从 hf 下载好模型后，通过函数利用 FAISS 创建高效的向量存储。 RAG 性能提升策略和评估方法（产品视角）： 前言：RAG 是检索增强生成的缩写，是结合检索模型和生成模型的技术，核心目的是把知识告诉给 AI 大模型，让其“懂”我们，核心流程是根据用户提问从私有知识中检索相关内容，与用户提问一起放入 prompt 中提交给大模型，常见应用场景如知识问答系统。

AGI（通用人工智能）、RAG（检索增强生成）和 Agent 存在以下区别： Agent： 本质是动态 Prompt 拼接，通过工程化手段将业务需求转述为新的 Prompt。 包含短期记忆（messages 里的历史 QA 对）和长期记忆（summary 之后的文本塞回 system prompt）。 可以通过工具触发检索和 Action，触发 tool_calls 标记进入请求循环，拿模型生成的请求参数进行 API request，再把结果返回给大模型进行交互。 如 Multi Agents ，主要是更换 system prompt 和 tools 。 为 LLM 增加工具、记忆、行动、规划等能力，目前行业主要使用 langchain 框架，在 prompt 层和工具层完成设计。 有效使用工具的前提是全面了解工具的应用场景和调用方法，学习使用工具的方法包括从 demonstration 中学习和从 reward 中学习。 在追求 AGI 的征途中，具身 Agent 强调将智能系统与物理世界紧密结合，能够主动感知和理解物理环境并互动，产生具身行动。 RAG： 是向量相似性检索，可放在 system prompt 里或通过 tools 触发检索。 AGI：是一种更广泛和全面的智能概念，旨在实现类似人类的通用智能能力。 需要注意的是，这些概念的发展和应用仍在不断演进，想做深做好还有很多需要探索和解决的问题。

对 RAG 进行评估可以从以下几个方面入手： 1. 使用 RAG 三角形的评估方法： 在 LangChain 中创建 RAG 对象，使用 RAGPromptTemplate 作为提示模板，指定检索系统和知识库的参数。 在 TruLens 中创建 TruChain 对象，包装 RAG 对象，指定反馈函数和应用 ID。反馈函数可使用 TruLens 提供的 f_context_relevance、f_groundness、f_answer_relevance，也可自定义。 使用 with 语句运行 RAG 对象，记录反馈数据，包括输入问题、得到的回答以及检索出的文档。 查看和分析反馈数据，根据 RAG 三角形的评估指标评价 RAG 的表现。 2. 建立评估框架将检索性能与整个 LLM 应用程序隔离开来，从以下角度评估： 模型角度（generation）： 回答真实性：模型结果的真实性高低（减少模型幻觉）。 回答相关度：结果和问题的相关程度，避免南辕北辙。 检索角度（retrieval）： 召回率（recall）：相关信息在返回的检索内容中的包含程度，越全越好。 准确率（precision）：返回的检索内容中有用信息的占比，越多越好。 3. 考虑以下评估方法和指标： 生成质量评估：常用自动评估指标（如 BLEU、ROUGE 等）、人工评估和事实验证，衡量生成文本的流畅性、准确性和相关性。 检索效果评估：包括检索的准确性、召回率和效率，其好坏直接影响生成文本的质量。 用户满意度评估：通过用户调查、用户反馈和用户交互数据了解用户对 RAG 系统的满意度和体验。 多模态评估：对于生成多模态内容的 RAG 系统，评估不同模态之间的一致性和相关性，可通过多模态评估指标实现。 实时性评估：对于需要实时更新的 RAG 任务，考虑信息更新的及时性和效率。 基准测试集：使用基准测试集进行实验和比较不同的 RAG 系统，涵盖多样化的任务和查询，以适应不同的应用场景。 评估方法和指标的选择取决于具体的任务和应用场景，综合使用多种评估方法可更全面地了解 RAG 系统的性能和效果，评估结果能指导系统的改进和优化，满足用户需求。此外，RAGAS 是一个用于 RAG 评估的知名开源库，可参考使用： 。需要注意的是，RAG 适合打造专才，不适合打造通才，且存在一定局限性，如在提供通用领域知识方面表现不佳，可能影响模型的风格或结构输出、增加 token 消耗等，部分问题需使用微调技术解决。

以下是一些加速 RAG 的好办法： 1. 确保 LLM 以正确的格式回应：函数调用已成为确保 LLM 严格输出特定格式的相对靠谱的新方法，推荐使用此方法提升性能。可参考结构化输出文档，其中高层次的 LangChain API 展示了不同 LLM 如何调用工具和函数。 2. 使用参考样例：在实际操作中，将输入和对应输出的样例纳入其中通常大有裨益，这些样例有时比指示本身更能有效指导 LLM 处理特定情况。在提取用例文档中可找到更多细节，助您从 LLMs 中提取更好的性能。 此外，LangChain 携手 NVIDIA 为 RAG 加速带来了新的篇章： 1. 将 NVIDIA NIM 与 LangChain 结合使用：新增了支持 NIM 的集成包，安装专门的集成包后可导入所需模型，并通过示例展示如何构建应用程序，包括安装额外的包、加载数据源、初始化嵌入模型等一系列操作。 2. NVIDIA NIM 介绍：NVIDIA NIM 是一系列用户友好的微服务，旨在加速企业内部生成式 AI 的部署进程，支持广泛的 AI 模型，基于强大的推理引擎和技术构建，提供无缝的 AI 推理体验，是实现大规模、高性能生成式 AI 推理的最佳选择。其具有自托管特性，能保证数据安全；提供预构建的容器，方便选择和使用最新模型；具有可扩展性。开始使用 NIM 非常简单，在 NVIDIA API 目录中可轻松访问多种 AI 模型，NIM 是 NVIDIA AI Enterprise 的一部分，可通过相关博客获取详细指南。

搭建自己的 Agent 可以按照以下步骤进行： 1. 从案例入门： 三分钟捏 Bot： Step 1：（10 秒）登录控制台 登录扣子控制台（coze.cn）。 使用手机号或抖音注册/登录。 Step 2：（20 秒）在我的空间创建 Agent 在扣子主页左上角点击“创建 Bot”。 选择空间名称为“个人空间”、Bot 名称为“第一个 Bot”，并点击“确认”完成配置。如需使用其他空间，请先创建后再选择；Bot 名称可以自定义。 Step 3：（30 秒）编写 Prompt 填写 Prompt，即自己想要创建的 Bot 功能说明。第一次可以使用一个简短的词语作为 Prompt 提示词。 Step 4：（30 秒）优化 Prompt 点击“优化”，使用来帮忙优化。 Step 5：（30 秒）设置开场白 Step 6：（30 秒）其他环节 Step 7：（30 秒）发布到多平台&使用 2. 进阶之路： 15 分钟做什么：查看下其他 Bot，获取灵感。 1 小时做什么：找到和自己兴趣、工作方向等可以结合的 Bot，深入沟通。阅读以下文章：文章 1、文章 2、文章 3。 一周做什么：了解基础组件；寻找不错的扣子，借鉴&复制；加入 Agent 共学小组；尝试在群里问第一个问题。 一个月做什么：合理安排时间；参与 WaytoAGI Agent 共学计划；自己创建 Agent，并分享自己捏 Bot 的经历和心得。 在 WaytoAGI 有哪些支持：文档资源、交流群、活动。 一些好的 Agent 构建平台包括： 1. Coze：是一个新一代的一站式 AI Bot 开发平台，集成了丰富插件工具，适用于构建基于 AI 模型的各类问答 Bot。 2. Mircosoft 的 Copilot Studio：主要功能包括外挂数据、定义流程、调用 API 和操作，以及将 Copilot 部署到各种渠道。 3. 文心智能体：百度推出的基于文心大模型的智能体平台，支持开发者根据自身需求打造产品能力。 4. MindOS 的 Agent 平台：允许用户定义 Agent 的个性、动机、知识，以及访问第三方数据和服务或执行工作流。 5. 斑头雁：2B 基于企业知识库构建专属 AI Agent 的平台，适用于多种场景，提供多种成熟模板。 6. 钉钉 AI 超级助理：依托钉钉强大的场景和数据优势，在处理高频工作场景方面表现出色。 Agent 搭建共学快闪 0507 的作业： |时间|作业|备注| |||| |5 月 7 号|创建 https://www.coze.com 账号<br>创建 https://www.coze.cn 账号<br>加入共学的 team（看第三列备注）<br>有精力的话：可以提前阅读：<br>尝试创建自己的第一个 Bot，用来免费使用 GPT4|海外版本<br>Click the link to join my team WaytoAGI on the Coze Bot Platform<br>👉🏻 https://www.coze.com/invite/8UrPdX0vuusXq5H6dF4P<br>国内版本<br>coze.cn<br>👉🏻 https://www.coze.cn/invite/EpD2Ud0bdPcvutscWStY| |5 月 10 日罗文|认领一个插件制作插件说明|| PS：上述两个作业在 5 月 8 号分享结束之后就可以上手进行了，5 月 9 号会针对工作流和多 Agent 模式进行进一步的讲解。大家制作的 Bot 都可以在飞书群中进行投稿，然后会有专门的同学记录到 Bot 收集板。

在人工智能领域中，训练 Agent 主要有以下方法和特点： 1. 基于迁移学习和元学习的 Agent 训练： 传统强化学习中，Agent 训练消耗大量样本和时间，泛化能力不足。为突破此瓶颈，引入迁移学习，促进不同任务间知识和经验迁移，减轻新任务学习负担，提升学习效率和性能，增强泛化能力。 元学习让 Agent 学会从少量样本中迅速掌握新任务最优策略，利用已有知识和策略调整学习路径，减少对大规模样本集依赖。 但迁移学习和元学习面临挑战，如迁移学习在源任务与目标任务差异大时可能无效甚至负面迁移，元学习需大量预训练和样本构建学习能力，使通用高效学习策略开发复杂艰巨。 时间：21 世纪初至今 特点：迁移学习将一个任务知识迁移到其他任务；元学习学习如何学习，快速适应新任务 技术：迁移学习如领域自适应；元学习如 MAML、MetaLearner LSTM 优点：提高学习效率，适应新任务 缺点：对源任务和目标任务相似性有要求 2. 基于强化学习的 Agent 训练： 强化学习关注如何让 Agent 通过与环境互动自我学习，在特定任务中累积最大长期奖励。起初主要依托策略搜索和价值函数优化等算法，如 Qlearning 和 SARSA。 随着深度学习兴起，深度神经网络与强化学习结合形成深度强化学习，赋予 Agent 从高维输入学习复杂策略的能力，有 AlphaGo 和 DQN 等成果。 深度强化学习允许 Agent 在未知环境自主探索学习，无需人工指导，在游戏、机器人控制等领域有应用潜力。 但面临诸多挑战，包括训练周期长、采样效率低、稳定性问题，在复杂真实环境应用困难。 时间：20 世纪 90 年代至今 特点：通过试错学习最优行为策略，以最大化累积奖励 技术：Qlearning、SARSA、深度强化学习（结合 DNN 和 RL） 优点：能够处理高维状态空间和连续动作空间 缺点：样本效率低，训练时间长

以下是一些常见的 Agent 构建平台： 1. Coze：新一代一站式 AI Bot 开发平台，适用于构建基于 AI 模型的各类问答 Bot，集成丰富插件工具，能拓展 Bot 能力边界。 2. Microsoft 的 Copilot Studio：主要功能包括外挂数据、定义流程、调用 API 和操作，以及将 Copilot 部署到各种渠道。 3. 文心智能体：百度推出的基于文心大模型的智能体（Agent）平台，支持开发者根据需求打造产品能力。 4. MindOS 的 Agent 平台：允许用户定义 Agent 的个性、动机、知识，以及访问第三方数据和服务或执行工作流。 5. 斑头雁：2B 基于企业知识库构建专属 AI Agent 的平台，适用于客服、营销、销售等场景，提供多种成熟模板，功能强大且开箱即用。 6. 钉钉 AI 超级助理：依托钉钉强大的场景和数据优势，在处理高频工作场景如销售、客服、行程安排等方面表现出色。 搭建工作流驱动的 Agent 通常可分为以下 3 个步骤： 1. 规划： 制定任务的关键方法。 总结任务目标与执行形式。 将任务分解为可管理的子任务，确立逻辑顺序和依赖关系。 设计每个子任务的执行方法。 2. 实施： 在 Coze 上搭建工作流框架，设定每个节点的逻辑关系。 详细配置子任务节点，并验证每个子任务的可用性。 3. 完善： 整体试运行 Agent，识别功能和性能的卡点。 通过反复测试和迭代，优化至达到预期水平。 您可以根据自己的需求选择适合的平台进行进一步探索和应用。

以下是关于语音交互领域的 AI Agent 的一些思路： 1. 构建像人一样的 Agent：实现所需的记忆模块、工作流模块和各种工具调用模块，这在工程上具有一定挑战。 2. 驱动躯壳的实现：定义灵魂部分的接口，躯壳部分通过 API 调用，如 HTTP、webSocket 等。要处理好包含情绪的语音表达以及躯壳的口型、表情、动作和语音的同步及匹配，目前主流方案只能做到预设一些表情动作，再做一些逻辑判断来播放预设，语音驱动口型相对成熟但闭源。 3. 保证实时性：由于算法部分组成庞大，几乎不能单机部署，特别是大模型部分，会涉及网络耗时和模型推理耗时，低延时是亟需解决的问题。 4. 实现多元跨模态：不仅要有语音交互，还可根据实际需求加入其他感官，如通过添加摄像头数据获取视觉信息并进行图像解析。 5. 处理拟人化场景：正常与人交流时会有插话、转移话题等情况，需要通过工程手段丝滑处理。 此外，像 AutoGLM 这样的产品，通过模拟人类操作来实现跨应用的控制，展现出了一定的智能理解能力，如能根据用户意图选择合适的应用场景。但仍存在语音识别偏差、操作稳定性需提升、支持平台有限等问题，未来随着多模态理解能力和操作精准度的提高，发展空间较大。

AI agent 和智能体在以下方面存在区别： 1. 概念侧重点：AI agent 更强调作为数字人的大脑，拥有记忆模块等，以实现更真实的交互；智能体则被视为智能的最小单元，是可以设定目标后主动完成任务的。 2. 能力构成：AI agent 主要通过接入大语言模型，并结合工具、记忆、行动、规划等能力来发挥作用；智能体不仅具备推理能力，还能执行全自动化业务，但目前许多相关产品仍需人类参与。 3. 实现方式：AI agent 目前行业里主要通过如 langchain 框架，在 prompt 层和工具层完成设计，将大模型与工具进行串接；智能体在实现上可能涉及更多复杂的技术和逻辑。