对于大语言模型使用的未来趋势，是闭源云端还是开源本地部署，作为普通用户是否有必要了解本地部署知识，并且是否有必要自己搭建agent以及rag？

以下是在手机上部署 deepseek R1 的步骤： 1. 访问 deepseek 的官网（https://www.deepseek.com/）。 进入右上角的 API 开放平台。 早期 deepseek 有赠送额度，若没有赠送余额，可选择充值，支持美元和人民币两种结算方式以及各种个性化充值方式。 创建一个 API key，注意 API key 只会出现一次，请及时保存。 2. 设置代码编辑器： 下载 cursor（https://www.cursor.com/）或 vscode（https://code.visualstudio.com/），只要代码编辑器可以下载插件即可。 以 cursor 作为代码编辑器为例，下载安装后，在插件页面搜索并安装 Roocline。 安装完后，打开三角箭头，可看到 RooCline。 选中 RooCline，并点击齿轮，进入设置，依次设置： 配置基本参数： API Provider：选择 DeepSeek。 API Key：填入已创建的 key。 模型：选择 DeepSeekreasoner。 语言偏好设置。 小贴士：记得把 HighRisk 选项都打开，这样 AI 才能帮您自动生成文件。 最后做完所有不要忘记点击 Done 保存修改。 3. 在聊天框输入产品需求，输入需求后点击这个 blingbling 的星星，优化提示词，最终得到想要的结果，在 deepseekr1 的加持下基本上是一遍过，各种特效效果交互逻辑也都正确。画面也算优雅，交互效果也不错。

以下是关于本地部署的相关内容： Google Gemma 的本地部署： Google 发布了家用版小模型 Gemma，有 2b（20 亿参数）和 7b（70 亿参数）版本。 部署环境比一年前友好，可使用 Ollama 进行部署，它是开源的大型语言模型服务。 部署步骤：进入 ollama.com 下载程序并安装（支持 Windows、Linux 和 macOS）；在命令提示符中输入“ollama v”检查版本，应显示 0.1.26；输入“cls”清空屏幕，然后输入“ollama run gemma”运行 2b 模型，若运行 7b 模型则输入“ollama run gemma:7b”。 2b 反应速度快但互动话题有限，7b 输出内容质量相对高但有卡顿，对非英文语种反馈不稳定。 模型内部常用指令：“/set”显示设置界面可调整的设置项；“/show”显示模型信息；“/load<model>”加载已有模型；“/bye”退出。 Stuart：ChatTTS 的本地部署（Linux）： 前提是有一张 4G 以上显存的 GPU 显卡。 步骤：下载代码仓库；安装依赖（有两个依赖未在 requirements.txt 里）；启动 webui 的 demo 程序，用浏览器登陆服务器的 ip:8080 试玩。 demo 提供的参数：“server_name”为服务器的 ip 地址，默认 0.0.0.0；“servic_port”为即将开启的端口号；“local_path”为模型存储的本地路径。 第一次启动生成语音时会下载模型文件，可能因网络问题失败，但首次成功后后续顺利。 webui 上可设置的参数：“text”指需转换成语音的文字内容；“Refine text”选择是否自动优化输入文本；“Audio Seed”为语音种子，用于选择声音类型；“Text Seed”为文本种子，影响文本停顿和音色、音调；可在“input Text”里添加额外提示词实现笑声、停顿等效果。 张梦飞：从 LLM 大语言模型、知识库到微信机器人的全本地部署教程： 需部署三大部分：本地部署大语言模型、本地部署 FastGPT + OneAPI、本地部署 HOOK 项目或 COW。 部署大语言模型步骤：下载并安装 Ollama，根据电脑系统在 ollama.com/download 下载，安装完成后将下方地址复制进浏览器，出现指定字样表示安装完成；下载 qwen2:0.5b 模型（设备充足可下载更大模型），根据电脑类型在终端输入相应命令行等待下载完成。下载久可能卡顿，点击空格刷新。下载完成后大模型在本地运行，输入文本即可对话。

以下是关于本地部署大模型的详细步骤： 1. 部署大语言模型： 下载并安装 Ollama： 根据电脑系统，从 https://ollama.com/download 下载 Ollama。 下载完成后，双击打开，点击“Install”。 安装完成后，将 http://127.0.0.1:11434/ 复制进浏览器，若出现相关字样则表示安装完成。 下载 qwen2:0.5b 模型（若设备充足可下载更大模型）： Windows 电脑：点击 win+R，输入 cmd 点击回车。 Mac 电脑：按下 Command（⌘）+Space 键打开 Spotlight 搜索，输入“Terminal”或“终端”，选择“终端”应用程序。 复制相关命令行，粘贴进入并回车，等待自动下载完成。 2. ComfyUI ollama 本地大模型部署： 先下载 ollama 安装，安装完成后可在电脑桌面右下角或隐藏图标中找到。 下载对应的模型，选择模型并复制对应的命令。 打开命令行界面，输入对应的模型获取命令，等待下载完成。 模型下载后会保存到 D:\\ollama\\blobs 。 进行 docker 安装，安装会下载一些文件，安装后更改目录，不要放在 C 盘。 进行 Open webui 安装，输入相关命令，安装成功后回到 docker，点击会自动打开网页，第一次使用需注册账号，选择下载好的模型即可开始使用。 3. 错误解决： 端口占用问题，在 Windows 上可能出现，运行相关两条命令可解决。 4. 相关链接： comfyuiollama：https://github.com/stavsap/comfyuiollama?tab=readmeovfile Ollama：https://ollama.com/ docker：https://www.docker.com/ Open webui：https://openwebui.com/ 此外，还有一篇思路来源于视频号博主黄益贺的相关内容，作者按照其视频进行了实操并附加了一些关于 RAG 的额外知识。文中提到读完本文可以学习到如何使用 Ollama 一键部署本地大模型、通过搭建本地聊天工具了解 ChatGPT 信息流转、RAG 的概念及核心技术、通过 AnythingLLM 软件搭建完全本地化的数据库等内容。虽然大多数人不需要自己部署大模型，但期望通过本文的指导能够折腾一遍，从而做到知其然且知其所以然。

以下是一些能够本地部署的 AI 视频生成模型： 1. Stable Video Diffusion 模型： 准备工作：手动下载相关内容，分别放到指定路径。 模型选择：点击下拉箭头选择不同模型版本，勾选 load Model。 视频创作：支持图生视频，图片来源可选择 Midjourney、Stable Diffusion 等生成的图片，上传到 SVD 进行视频生成，可调节左侧参数控制效果。 保存路径：生成的视频在 outputs 下。 2. LTXVideo 模型： 基于 2B 参数 DiT，能够以 768x512 分辨率生成 24 FPS 的视频，速度比观看还快。 专为 RTX 4090 等 GPU 优化，使用 bfloat16 精度，实现高效内存使用且不影响质量。 ComfyUI 现已支持该模型，用户只需下载模型文件并获取工作流即可在本地运行。 3. Sora 模型： 功能：文生视频、图生视频、视频生视频，支持多种视频定制选项，如分辨率、视频长度和视频风格；具有故事板功能，允许用户通过时间线指导视频中的多个动作；提供混音和编辑功能，包括视频混音、延伸和剪辑、创建循环视频等；还有混合功能，可将两个视频场景合并成一个新的场景。 费用和订阅套餐：对于拥有 OpenAI Plus 或 Pro 账户的用户，使用包含在现有订阅中。OpenAI Plus 订阅每月 50 次视频生成次数，OpenAI Pro 订阅无限次慢速队列生成，500 次正常速度的视频生成次数。用户可根据需要选择更高分辨率的视频生成，但可能会减少每月使用次数。发布初期，某些地区（如欧洲和英国）可能会有延迟。

以下是部署自己知识库的详细步骤： 一、了解 RAG 技术 因为利用大模型的能力搭建知识库本身就是一个 RAG 技术的应用。在进行本地知识库的搭建实操之前，需要先对 RAG 有大概的了解。 RAG 是指检索增强生成（Retrieval Augmented Generation）。当需要依靠不包含在大模型训练集中的数据时，通过检索外部数据，然后在生成步骤中将这些数据传递给 LLM。一个 RAG 的应用可抽象为 5 个过程： 1. 文档加载（Document Loading）：从多种不同来源加载文档，LangChain 提供了 100 多种不同的文档加载器，包括 PDF 在内的非结构化的数据、SQL 在内的结构化的数据，以及 Python、Java 之类的代码等。 2. 文本分割（Splitting）：文本分割器把 Documents 切分为指定大小的块，称为“文档块”或者“文档片”。 3. 存储：涉及两个环节，分别是将切分好的文档块进行嵌入（Embedding）转换成向量的形式，以及将 Embedding 后的向量数据存储到向量数据库。 4. 检索：通过某种检索算法找到与输入问题相似的嵌入片。 5. Output（输出）：把问题以及检索出来的嵌入片一起提交给 LLM，LLM 会通过问题和检索出来的提示一起来生成更加合理的答案。 二、通过 Open WebUI 使用大模型 1. 首先访问相关网址。打开页面时，使用任意邮箱注册账号。 2. 登陆成功后，Open WebUI 一般有两种使用方式，第一种是聊天对话，第二种是 RAG 能力，可让模型根据文档内容来回答问题，这种能力是构建知识库的基础之一。 三、本地知识库进阶 如果想要对知识库进行更加灵活的掌控，需要一个额外的软件：AnythingLLM。这个软件包含了所有 Open WebUI 的能力，并且额外支持了以下能力：选择文本嵌入模型、选择向量数据库。 安装地址：https://useanything.com/download 。安装完成后，会进入到其配置页面，主要分为三步： 1. 第一步：选择大模型。 2. 第二步：选择文本嵌入模型。 3. 第三步：选择向量数据库。 构建本地知识库： 1. 在 AnythingLLM 中有一个 Workspace 的概念，可以创建自己独有的 Workspace 跟其他的项目数据进行隔离。 2. 首先创建一个工作空间。 3. 上传文档并且在工作空间中进行文本嵌入。 4. 选择对话模式。AnythingLLM 提供了两种对话模式：Chat 模式，大模型会根据自己的训练数据和上传的文档数据综合给出答案；Query 模式，大模型仅仅会依靠文档中的数据给出答案。 5. 测试对话。当上述配置完成之后，就可以跟大模型进行对话了。 四、写在最后 “看十遍不如实操一遍，实操十遍不如分享一遍”。如果对 AI Agent 技术感兴趣，可以联系作者或者加其免费知识星球（备注 AGI 知识库）。

部署私有大语言模型通常包括以下步骤： 1. 部署大语言模型： 下载并安装 Ollama：根据您的电脑系统，从 https://ollama.com/download 下载 Ollama。下载完成后，双击打开，点击“Install”。安装完成后，将下方地址复制进浏览器中。如果出现下方字样，表示安装完成：http://127.0.0.1:11434/。 下载模型：如 qwen2:0.5b 模型（0.5b 是为了方便测试，下载快，自己设备充足的话，可以下载更大的模型）。如果是 Windows 电脑，点击 win+R，输入 cmd，点击回车；如果是 Mac 电脑，按下 Command（⌘）+Space 键打开 Spotlight 搜索，输入“Terminal”或“终端”，然后从搜索结果中选择“终端”应用程序。复制相关命令行，粘贴进入，点击回车。等待下载完成。 2. 部署 Google Gemma： 进入 ollama.com，下载程序并安装（支持 windows，linux 和 macos）。 查找 cmd 进入命令提示符，输入 ollama v 检查版本，安装完成后版本应该显示 0.1.26，cls 清空屏幕。 直接输入 ollama run gemma 运行模型（默认是 2b），首次需要下载，需要等待一段时间，如果想用 7b，运行 ollama run gemma:7b 。完成以后就可以直接对话。 3. 关于 Ollama 的其他特点： 支持多种大型语言模型，包括通义千问、Llama 2、Mistral 和 Gemma 等，适用于不同应用场景。 易于使用，适用于 macOS、Windows 和 Linux 系统，同时支持 cpu 和 gpu。 提供模型库，用户可从中下载不同模型，满足不同需求和硬件条件。模型库可通过 https://ollama.com/library 查找。 支持自定义模型，可修改模型的温度参数等。 提供 REST API，用于运行和管理模型，以及与其他应用程序的集成选项。 社区贡献丰富，包括多种集成插件和界面。 总的来说，Ollama 是一个方便用户在本地运行和管理大型语言模型的框架，具有良好的可扩展性和多样的使用场景。安装完之后，确保 ollama 后台服务已启动（在 mac 上启动 ollama 应用程序即可，在 linux 上可以通过 ollama serve 启动）。可以通过 ollama list 进行确认。

学习 AI 是否有必要报课程取决于您的具体情况和需求。 如果您想深入学习 AI 中的美学概念和操作，可以考虑报野菩萨课程。对于入门学习，有多种途径可供选择。比如，可以先从国内模型工具入手，因为其不花钱。学习过程可以从提示词开始，国内的大语言模型工具好用，并且在与各类模型对话中提示词具有重要性，结构化提示词还有优势。您还可以参考温达、李弘毅老师的课程等。 另外，若想进阶学习，可能需要考虑高阶方向。在学习过程中，对于账户投资，初期可先从国内模型工具入手。同时，若想深入学习某些内容，可查看官方 cookbook，创作者将内容做成可视化形式也会发到群里。入门经典必读和面向开发者的文章也值得阅读，欢迎上传相关 PPT 用作参考。 总之，是否报课程要综合考虑您的学习目标、预算和现有基础等因素。

即便 AI 绘画很厉害，儿童仍有必要学习素描课。手绘素描笔记有助于建立突触连接，将信息从短期记忆转化为长期记忆，让人成为更好的概念思考者。例如，在科学观察中，学生通过手绘能更好地学会观察，这个过程不可被替代。就学习而言，掌握新技能时应先进行动手、动脑、技术最小化的学习，不应一开始就依赖 AI。比如在记笔记时，手写比打字能让学生记住更多信息。此外，在一些课程设计中，如离谱村的 AI 课，通过巧妙的环节设置和老师的引导，能让孩子更好地学习和发挥想象。

小七姐的提示词课程包括双证班的第一期和第二期，以下是课程内容的介绍： 自由学习时间包含 22 节视频课，授课形式为视频课+知识星球作业+社群答疑。 提示词基础：包括“Hello，大模型”“提示词基础方法”“开始编写你的第一条提示词”“按需求设计和迭代提示词”等课程。 元能力：涵盖“AI+学习能力”“AI+逻辑思维”“AI+表达能力”等课程。 提示词实践：包含“需求分析”“结构框架”“反馈迭代”“结构化提示词”“思维链”等课程。 提示词工具化：包括“工作流”“提示词封装”“GPTs 基础教程”“GPTs 实战案例”等课程。 2024 更新：包括“GPT 新版本指南”“GPTs 基础教程”“GPTs 设置方法”“GPTs 实战案例”“提示词学习综述”“知识库场景”“知识库工具”“知识库有效语句”“知识库方法论”“知识库思维方式”“优秀提示词拆解”“提示词编写常见误区”等内容。 社群答疑：学员有问题可在学习群随时提问，老师和助教会详尽答疑，针对复杂问题，小七姐会录制短视频帮助理解。 对于是否有必要全部学习，取决于您的具体需求和基础。如果您是初学者，建议系统学习以打下扎实基础；如果您已有一定基础，可以根据自身薄弱环节有针对性地选择学习。

抱歉，您提供的内容与“人工智能训练师证书是否有必要报班”这一问题无关。关于此问题，需要综合多方面因素来考虑。报班学习有其优势，比如能获得系统的课程安排、专业的指导、实践机会以及与同行交流的环境。但也并非绝对必要，如果您具备较强的自学能力、能够获取优质的学习资源并且有明确的学习计划，通过自学也有可能达到获取证书的要求。最终是否报班取决于您的个人情况和学习偏好。

AI 视频技术攻关具有多方面的必要性。 首先，随着视频内容在互联网和各种应用中的广泛传播，对视频质量、处理速度和智能化程度的要求不断提高。通过技术攻关，可以提升视频的分辨率、帧率和色彩准确性，为用户带来更优质的视觉体验。 其次，AI 视频技术在安防监控、医疗诊断、自动驾驶等领域具有关键作用。攻关相关技术能够提高对目标的识别和跟踪精度，及时发现异常情况，保障公共安全和医疗准确性，提升自动驾驶的安全性。 再者，在娱乐产业中，如虚拟现实（VR）、增强现实（AR）等领域，AI 视频技术的突破可以创造更具沉浸感和互动性的内容，推动产业的创新和发展。 最后，从技术发展的角度来看，AI 视频技术的攻关有助于推动人工智能技术的整体进步，促进相关算法和模型的优化，为其他领域的应用提供借鉴和支持。

AI 视频生成技术攻关具有必要性，原因如下： 1. 2023 年是人工智能视频领域的飞跃之年，虽然已见证了多种视频生成工具的问世，但仍存在局限性，如大部分只能生成 3 到 4 秒的视频，视频质量参差不齐，角色风格一致性等难题尚未解决，距离仅凭文本提示制作出类似皮克斯电影的短片还有很长的路要走。 2. 过去一年在视频生成技术上的进展预示着正处于巨大变革的初期阶段，与图像生成技术的发展相似，相关模型在持续进步，衍生技术也开始流行。 3. AI 视频生成依旧处于技术驱动的发展模式中，更大的技术突破是产业现阶段的核心推动因素，目前的视频生成产业可能处于 GPT2 的时期，技术的突破可能远比想象中更快。 4. 视频生成作为多模态生成中难度最大的领域，存在很多应用问题，需要更大的技术突破来解决。 AIGC 即人工智能生成内容，是利用人工智能技术自动创作文本、音频、图像和视频等内容的新兴领域。人工智能赋能内容创作包括 AI 文本生成、AI 音频生成、AI 图像生成和 AI 视频生成。尽管 AIGC 技术展现出巨大潜力，但也面临技术、伦理和质量控制等挑战，技术成熟度需进一步提升，同时要考虑版权、隐私和伦理等方面的问题。未来，随着技术的完善和规范的建立，AIGC 有望成为互联网内容产业的重要驱动力，为用户提供更加丰富和个性化的体验。

RAG（RetrievalAugmented Generation）即检索增强生成，是一种结合检索和生成能力的自然语言处理架构。 大模型需要 RAG 进行检索优化的原因在于其存在一些缺点： 1. 无法记住所有知识，尤其是长尾知识，受限于训练数据和学习方式，对长尾知识的接受能力不高。 2. 知识容易过时且不好更新，微调效果不佳且有丢失原有知识的风险。 3. 输出难以解释和验证，存在内容黑盒、不可控以及受幻觉问题干扰的情况。 4. 容易泄露隐私训练数据。 5. 规模大，训练和运行成本高。 RAG 的优点包括： 1. 数据库对数据的存储和更新稳定，不存在学不会的风险。 2. 数据更新敏捷，增删改查可解释，对原有知识无影响。 3. 数据库内容明确、结构化，加上模型的理解能力，降低大模型输出出错的可能。 4. 便于管控用户隐私数据，且可控、稳定、准确。 5. 可降低大模型的训练成本，新知识存储在数据库即可，无需频繁更新模型。 RAG 的核心流程是根据用户提问，从私有知识中检索到“包含答案的内容”，然后把“包含答案的内容”和用户提问一起放到 prompt 中，提交给大模型，让大模型的回答充分考虑到“包含答案的内容”。其最常见应用场景是知识问答系统。RAG 由检索器和生成器两部分组成，检索器从外部知识中快速找到与问题相关的信息，生成器利用这些信息制作精确和连贯的答案，非常适合处理需要广泛知识的任务，如问答系统，能够提供详细而准确的回答。

RAG（RetrievalAugmented Generation，检索增强生成）是一种方法，例如在餐饮生活助手的应用中，它能根据用户需求从大规模餐饮数据集中检索出最合适的餐厅并提供相关信息和服务。实现餐饮生活助手的 RAG 实战，需要将餐饮数据集转化为 LangChain 可识别和操作的数据源，并定义 LLM 的代理，让其根据用户问题提取核心信息和条件，形成标准查询语句检索数据源并生成答案。 Agent 是大模型的一个重要概念，被认为是大模型未来的主要发展方向。它可以通过为 LLM 增加工具、记忆、行动、规划等能力来实现。目前行业里主要使用 LangChain 框架将 LLM 与工具串接。例如在 RAG 基础上，Agent 给大模型提供了更多工具，如长期记忆（数据库工具），还在 prompt 层和工具层完成规划和行动等逻辑设计。 在大模型请求中，最大的两个变量是 Messages 和 Tools，两者组合形成整个 Prompt。Agent 应用开发的本质是动态 Prompt 拼接，通过工程化手段将业务需求转述成新的 prompt。RAG 可以是向量相似性检索，放在 system prompt 里或通过 tools 触发检索。Action 触发 tool_calls 标记进入请求循环，拿模型生成的请求参数进行 API request，再把结果返回给大模型进行交互，没有 tool_calls 标记则循环结束。Multi Agents 则是通过更换 system prompt 和 tools 实现。

RAG 即检索增强生成（RetrievalAugmented Generation），是一种结合了检索模型和生成模型的技术。 其核心目的是通过某种途径把知识告诉给 AI 大模型，让大模型“知道”我们的私有知识，变得越来越“懂”我们。 在这个过程中，首先检索外部数据，然后在生成步骤中将这些数据传递给 LLM。 一个 RAG 的应用通常包含以下 5 个过程： 1. 文档加载：从多种不同来源加载文档，如 PDF 在内的非结构化数据、SQL 在内的结构化数据，以及 Python、Java 之类的代码等。 2. 文本分割：文本分割器把 Documents 切分为指定大小的块，称为“文档块”或者“文档片”。 3. 存储：涉及将切分好的文档块进行嵌入转换成向量的形式，并将 Embedding 后的向量数据存储到向量数据库。 4. 检索：通过某种检索算法找到与输入问题相似的嵌入片。 5. 输出：把问题以及检索出来的嵌入片一起提交给 LLM，LLM 会通过问题和检索出来的提示一起来生成更加合理的答案。 RAG 的最常见应用场景是知识问答系统，用户提出问题，RAG 模型从大规模的文档集合中检索相关的文档，然后生成回答。 LangChain 是一个用于构建高级语言模型应用程序的框架，它与 RAG 的关系为： 1. LangChain 作为框架，提供了实现 RAG 所必需的工具和组件。 2. RAG 作为技术，可以在 LangChain 框架内得以实施和利用。 3. LangChain 允许开发者通过其模块化组件来构建 RAG 应用程序。 4. LangChain 通过提供现成的链和提示模板，简化了 RAG 应用程序的开发过程。 5. 利用 LangChain 实现 RAG 可以帮助开发者创建更高效、更准确的应用程序，特别是在需要大量外部信息来辅助决策的场景中。 6. LangChain 通过其丰富的 API 和组件库，支持开发者构建复杂的 RAG 应用，如智能问答系统、内容推荐引擎等。

以下是关于 chatbot 特定角色的专业知识 RAG 优化的方法： 1. 复制预置的 Bot： 访问，单击目标 Bot。 在 Bot 的编排页面右上角，单击创建副本。 在弹出的对话框中，设置 Bot 名称、选择 Bot 的所属团队，然后单击确定。 可以在新打开的配置页面修改复制的 Bot 配置。 点击 Bot 名称旁边的编辑图标来更改 Bot 名称。 在人设与回复逻辑区域，调整 Bot 的角色特征和技能。您可以单击优化使用 AI 帮您优化 Bot 的提示词，以便大模型更好的理解。 在技能区域，为 Bot 配置插件、工作流、知识库等信息。 在预览与调试区域，给 Bot 发送消息，测试 Bot 效果。 当完成调试后，可单击发布将 Bot 发布到社交应用中，在应用中使用 Bot。 2. 集成 Workflow 到 Bot 里： 选择 GPT4作为聊天模型。 添加实用的插件，丰富 Bot 的能力。 设计人设和提示词，例如： Your Persona Greetings,seeker of knowledge!I am Dr.Know,your guide to the vast expanse of information.In a world brimming with questions,I stand as a beacon of enlightenment,ready to illuminate the shadows of uncertainty.Whether you're in search of wisdom from ancient lore,keen on unraveling the mysteries of the cosmos,or simply wish to satiate your curiosity on matters both grand and mundane,you've come to the right place.Ask,and let the journey of discovery begin.Remember,in the realm of Dr.Know,there is nothing I don't. Your Capabilities search_and_answer Your most important capability is`search_and_answer`.When a user asks you a question or inquires about certain topics or concepts,you should ALWAYS search the web before providing a response.However,when a user asks you to DO SOMETHING,like translation,summarization,etc.,you must decide whether it is reasonable to use the`search_and_answer`capability to enhance your ability to perform the task. ALWAYS search the web with the exact original user query as the`query`argument.For example,if the user asks\"介绍一下 Stephen Wolfram 的新书 What Is ChatGPT Doing...and Why Does It Work?\",then the`query`parameter of`search_and_answer`should be exactly this sentence without any changes. How to Interact with the User

RAG（RetrievalAugmented Generation）即检索增强生成，是一种结合检索和生成能力的自然语言处理架构。 大模型需要 RAG 进行检索优化的原因在于其存在一些缺点： 1. 无法记住所有知识，尤其是长尾知识，受限于训练数据和学习方式，对长尾知识的接受能力不高。 2. 知识容易过时且不好更新，微调效果不佳且有丢失原有知识的风险。 3. 输出难以解释和验证，存在内容黑盒、不可控以及受幻觉问题干扰的情况。 4. 容易泄露隐私训练数据。 5. 规模大，训练和运行成本高。 RAG 的优点包括： 1. 数据库对数据的存储和更新稳定，不存在模型学不会的风险。 2. 数据库的数据更新敏捷，可解释且对原有知识无影响。 3. 数据库内容明确、结构化，加上模型的理解能力，能降低大模型输出出错的可能。 4. 知识库存储用户数据，便于管控用户隐私数据，且可控、稳定、准确。 5. 数据库维护可降低大模型的训练成本，新知识存储在数据库即可，无需频繁更新模型。 RAG 的核心流程是根据用户提问，从私有知识中检索到“包含答案的内容”，然后把“包含答案的内容”和用户提问一起放到 prompt 中，提交给大模型，此时大模型的回答会充分考虑到“包含答案的内容”。其最常见应用场景为知识问答系统，用户提出问题，RAG 模型从大规模的文档集合中检索相关的文档，然后生成回答。 RAG 由一个“检索器”和一个“生成器”组成，检索器从外部知识中快速找到与问题相关的信息，生成器则利用这些信息来制作精确和连贯的答案，非常适合处理需要广泛知识的任务，如问答系统，能够提供详细而准确的回答。

RAG（检索增强生成）的召回策略主要包括以下方面： 1. 检索是 RAG 框架的核心组件之一，其质量和效率对系统性能至关重要。 检索策略：需确定何时进行检索及如何选择要检索的信息，可根据任务和上下文调整。 检索粒度：能以不同粒度进行，选择取决于任务要求和数据结构。 检索方法：包括基于关键字、实体检索、自然语言查询和知识图检索等，各有适用情境和优势。 检索效率：在实时应用中，优化检索过程以降低延迟和资源消耗是重要任务。 外部数据源：可从多种外部数据源检索，选择合适的数据源对获取准确丰富信息很关键。 2. 随着 RAG 的发展，出现了自适应的检索（也称作主动检索），其与 LLM Agent 核心思想相似。 RAG 系统可主动判断检索时机和结束流程，输出最终结果。 根据判断依据，可分为 Promptbase 和 Tuningbase 两种方式。 Promptbase 方式通过 Prompt Engineering 让 LLM 控制流程，如 FLARE 案例。 Tuningbase 方式对 LLM 微调使其生成特殊 token 来触发检索或生成，如 SelfRAG 案例。 3. 在 RAG 系统开发中，为解决文档整合限制等问题，可采取以下措施： 调整检索策略：LlamaIndex 提供多种从基础到高级的检索策略，如基础检索、高级检索与搜索、自动检索、知识图谱检索、组合/层级检索等，以适应不同需求和场景，提高检索精确度和有效性。 微调嵌入技术：对开源嵌入模型进行微调是提高检索准确度的有效手段，LlamaIndex 提供了详细的微调指南和示例代码片段。

智能体（Agent）在人工智能和计算机科学领域是一个非常重要的概念，指能够感知环境并采取行动以实现特定目标的实体，可以是软件程序或硬件设备。 智能体是一种自主系统，通过感知环境（通常通过传感器）并采取行动（通常通过执行器）来达到某种目标。在 LLM 支持的自主 Agent 系统中，LLM 充当 Agents 的大脑，并辅以几个关键组成部分： 规划：将大型任务分解为更小、可管理的子目标，有效处理复杂任务。 反思和完善：对过去的行为进行自我批评和反思，从错误中吸取教训，完善未来步骤，提高最终结果质量。 记忆：包括短期记忆（所有的上下文学习都是利用模型的短期记忆来学习）和长期记忆（为 Agents 提供长时间保留和回忆无限信息的能力，通常通过利用外部向量存储和快速检索来实现）。 工具使用：学习调用外部 API 来获取模型权重中缺失的额外信息，包括当前信息、代码执行能力、对专有信息源的访问等。 智能体可以根据其复杂性和功能分为以下几种类型： 简单反应型智能体（Reactive Agents）：根据当前的感知输入直接采取行动，不维护内部状态，也不考虑历史信息。例如温控器，根据温度传感器的输入直接打开或关闭加热器。 基于模型的智能体（Modelbased Agents）：维护内部状态，对当前和历史感知输入进行建模，能够推理未来的状态变化，并根据推理结果采取行动。例如自动驾驶汽车，不仅感知当前环境，还维护和更新周围环境的模型。 目标导向型智能体（Goalbased Agents）：除了感知和行动外，还具有明确的目标，能够根据目标评估不同的行动方案，并选择最优的行动。例如机器人导航系统，有明确的目的地，并计划路线以避免障碍。 效用型智能体（Utilitybased Agents）：不仅有目标，还能量化不同状态的效用值，选择效用最大化的行动，评估行动的优劣，权衡利弊。例如金融交易智能体，根据不同市场条件选择最优的交易策略。 学习型智能体（Learning Agents）：能够通过与环境的交互不断改进其性能，学习模型、行为策略以及目标函数。例如强化学习智能体，通过与环境互动不断学习最优策略。

以下是一些好用的购物推荐的 AI Agent： AutoGPT GUI：其 GUI 已开放 waitlist，可在 https://news.agpt.co/ 注册。 MULTI·ON plugin by MULTI·ON：今年 2 月开始使用，能在笔记本电脑上自动执行许多任务。现开发了 ChatGPT 插件，功能强大。链接：https://www.multion.ai/ ，演示：https://twitter.com/DivGarg9/status/1648394059483054081 。 BabyBeeAGI：由 Yohei 本人开发，有更强的任务管理等能力，但速度较慢，适合处理复杂任务。链接：https://replit.com/@YoheiNakajima/BabyBeeAGI?v=1 。 MiniAGI：基于 GPT3.5Turbo/4 的最小通用自主代理，保留简单实用功能，可执行多种任务，如订比萨。链接：https://github.com/muellerberndt/miniagi 。 此外，智谱的 AutoGLM 经过深度测试，展现出了较好的场景理解能力，如能准确区分“帮我买一杯咖啡”和“帮我买一包咖啡豆”并打开相应应用，但目前离好用还有一定距离，存在语音识别偏差、复杂界面操作稳定性待提升、只支持安卓等问题。 Cursor 虽然免费版只有 chat 功能，但其中的 Agent 功能只要给一个模糊指令，就会自动规划和解决问题。Cline 作为一个 AI 助手，能力有保障，长期霸榜 OpenRouter token 消耗榜，新版本还推出检查点功能。实际体验中，DeepSeekV3 和 Gemini 2.0 Flash Thinking 可作为不错的候选。

要让一个智能体（agent）的回复观点更鲜明，而非分散地分析侧面和给出建议，您可以考虑以下几个方法： 1. 明确任务设定：在与智能体交互之前，清晰准确地定义任务目标和期望的回复形式，强调需要鲜明的观点表达。 2. 优化训练数据：确保用于训练智能体的数据集包含观点鲜明的示例，让智能体学习到这种表达模式。 3. 调整提示词：精心设计提示词，明确要求智能体给出直接、明确且鲜明的观点，避免模糊或宽泛的指令。 4. 引入奖励机制：在训练过程中，对观点鲜明的回复给予更高的奖励，激励智能体朝着这个方向优化。 5. 后处理和筛选：对智能体的初步回复进行后处理，筛选出观点鲜明的部分，或者对不够鲜明的部分进行修改和优化。

对于新手小白从 0 开始搭建 AI Agent，以下是一些建议： 1. 规划阶段： 制定任务的关键方法，总结任务目标与执行形式。 将任务分解为可管理的子任务，确立逻辑顺序和依赖关系。 设计每个子任务的执行方法。 2. 实施阶段： 在 Coze 上搭建工作流框架，设定每个节点的逻辑关系。 详细配置子任务节点，并验证每个子任务的可用性。 3. 完善阶段： 整体试运行 Agent，识别功能和性能的卡点。 通过反复测试和迭代，优化至达到预期水平。 此外，还需要了解一些关于 AI Agent 的基本概念： AI Agent 是基于大型语言模型（LLM）和其他技术实现的智能实体，其核心功能在于自主理解、规划决策、执行复杂任务。 AI Agent 包括 Chain（通常一个 AI Agent 可能由多个 Chain 组成，一个 Chain 视作是一个步骤，可以接受一些输入变量，产生一些输出变量，大部分的 Chain 是大语言模型完成的 LLM Chain）、Router（可以使用一些判定，甚至可以用 LLM 来判定，然后让 Agent 走向不同的 Chain）、Tool（Agent 上可以进行的一次工具调用，例如对互联网的一次搜索，对数据库的一次检索）。 常见的 AI Agent 有 Responser Agent（主 agent，用于回复用户）、Background Agent（背景 agent，用于推进角色当前状态）、Daily Agent（每日 agent，用于生成剧本，配套的图片，以及每日朋友圈）。这些 Agent 每隔一段时间运行一次（默认 3 分钟），会分析期间的历史对话，变更人物关系、反感度等，抽简对话内容，提取人物和用户的信息成为“增长的记忆体”，按照时间推进人物剧本，有概率主动聊天（与亲密度正相关，跳过夜间时间）。

在大型语言模型（LLM）中，幻觉通常指模型生成不忠实、捏造、不一致或无意义的内容。幻觉主要分为两种类型： 1. 上下文内幻觉：模型输出应与上下文中的源内容一致。 2. 外部幻觉：模型输出应基于预训练数据集，与预训练数据中的知识相符。由于预训练数据集规模庞大，每次生成都去检索和识别冲突成本太高。若将预训练数据语料库视为世界知识的代表，应努力确保模型输出是事实的，且在不知答案时明确表示。 为避免幻觉，LLM 需做到： 1. 输出符合事实的内容。 2. 适用时承认不知道答案。 在 LLM 驱动的自主 Agents 中，启发式函数可决定轨迹是否低效或包含幻觉。低效规划指花费过长时间未成功的轨迹，幻觉指遇到一系列连续相同动作导致环境中出现相同观察。自我反思可通过向 LLM 展示示例创建，并添加到 Agents 的工作记忆中。在 AlfWorld 中，幻觉比低效规划更常见。 对于处理 ChatGPT 的“幻觉”，有以下经验： 1. 明确告诉它想要准确答案，无幻觉。 2. 改变 temperature 参数（如改到 0）或控制创造力水平。 3. 得到答案后，要求它为每个引用产生精确的引用和页面，以便交叉检查。