直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

对于大语言模型使用的未来趋势，是闭源云端还是开源本地部署，作为普通用户是否有必要了解本地部署知识，并且是否有必要自己搭建agent以及rag？

回答

大语言模型的未来趋势在闭源云端和开源本地部署方面存在多种可能性。

对于开源本地部署，以下是一些相关信息：

  • Ollama 是一个方便用户在本地运行和管理大型语言模型的框架，具有以下特点：
    • 支持多种大型语言模型，如通义千问、Llama 2、Mistral 和 Gemma 等，适用于不同应用场景。
    • 易于使用，适用于 macOS、Windows 和 Linux 系统，同时支持 CPU 和 GPU。
    • 提供模型库，用户可从中下载不同模型，以满足不同需求和硬件条件，模型库可通过 https://ollama.com/library 查找。
    • 支持用户自定义模型，例如修改温度参数调整创造性和连贯性，或设置特定系统消息。
    • 提供 REST API 用于运行和管理模型，以及与其他应用程序的集成选项。
    • 社区贡献丰富，包括多种集成插件和界面，如 Web 和桌面应用、Telegram 机器人、Obsidian 插件等。
    • 安装可访问 https://ollama.com/download/ 。
  • 可以通过一些教程学习如何本地部署大模型以及搭建个人知识库，例如了解如何使用 Ollama 一键部署本地大模型、通过搭建本地聊天工具了解 ChatGPT 信息流转、RAG 的概念及核心技术、通过 AnythingLLM 搭建完全本地化的数据库等。

同时，采用开源或国内企业提供的 13B 级模型本地部署在内部系统中，虽需投入算力，但有其价值。智能客服的大量优质大客户可能会选择自己搭建智能客服平台，并结合大模型企业提供的技术服务，基于大模型搭建 LangChain、RAG 框架，实现 RPA 自动流程。

对于普通用户是否有必要了解本地部署知识以及是否有必要自己搭建 agent 以及 rag，这取决于个人需求和兴趣。如果您希望更深入了解大模型的工作原理和运行机制，或者有特定的个性化需求，那么了解和尝试本地部署可能是有意义的。但如果只是一般的使用需求，可能无需深入了解和自行搭建。

内容由 AI 大模型生成，请仔细甄别（powered by aily）

参考资料

本地部署资讯问答机器人：Langchain+Ollama+RSSHub 实现 RAG

1.支持多种大型语言模型：Ollama支持包括通义千问、Llama 2、Mistral和Gemma等在内的多种大型语言模型，这些模型可用于不同的应用场景。2.易于使用：Ollama旨在使用户能够轻松地在本地环境中启动和运行大模型，适用于macOS、Windows和Linux系统，同时支持cpu和gpu。3.模型库：Ollama提供了一个模型库，用户可以从中下载不同的模型。这些模型有不同的参数和大小，以满足不同的需求和硬件条件。Ollama支持的模型库可以通过https://ollama.com/library进行查找。4.自定义模型：用户可以通过简单的步骤自定义模型，例如修改模型的温度参数来调整创造性和连贯性，或者设置特定的系统消息。5.API和集成：Ollama还提供了REST API，用于运行和管理模型，以及与其他应用程序的集成选项。6.社区贡献：Ollama社区贡献丰富，包括多种集成插件和界面，如Web和桌面应用、Telegram机器人、Obsidian插件等。7.总的来说，Ollama是一个为了方便用户在本地运行和管理大型语言模型而设计的框架，具有良好的可扩展性和多样的使用场景。后面在捏Bot的过程中需要使用Ollama，我们需要先安装，访问以下链接进行下载安装。https://ollama.com/download/

手把手教你本地部署大模型以及搭建个人知识库

大家好，我是大圣，一个致力使用AI工具将自己打造为超级个体的程序员。目前沉浸于AI Agent研究中无法自拔今天给大家分享的是手把手教你如何部署本地大模型以及搭建个人知识库读完本文，你会学习到如何使用Ollama一键部署本地大模型通过搭建本地的聊天工具，了解ChatGPT的信息是如何流转的RAG的概念以及所用到的一些核心技术如何通过AnythingLLM这款软件搭建完全本地化的数据库虽然我们大多数人不需要在自己部署大模型，但是我期望在本文的帮助下，能够带你手把手折腾一遍。这样在使用任何软件的时候，可以做到知其然，知其所以然。

观点：LLM落地思考

同时，采用开源或者国内智谱、文心、百川等企业提供的13B级模型，本地部署在自己的内部系统中，虽然需要投入算力，但是算力的价值已经是世界共识了，而大模型的故事可以给企业带来很多资本届的好处，因此，智能客服的大量优质大客户，会纷纷选择自己搭建智能客服平台。再结合大模型企业提供的技术服务，基于大模型搭建LangChain、RAG框架，在智能客服上还可以继续实现RPA自动流程。可以大胆的这样讲，智能客服的企业外部需求，终究是要被证伪了。4、智能客服的结局我个人的看法，痛定思痛，转化为LLM技术支持方，专注发力LLM的工程化应用方向，去为企业提供更好的LLM本地部署和工程化，走IBM的企业服务道路，可能是最好的选择了。毕竟各行各业+LLM的转型还是有很大的市场的，大厂也难以全部吃掉，甚至可以作为大厂大模型的工程分包商。（类似于华为卖企业网关、路由器等网络设备，需要在各个城市找一些工程承包商来根据每个企业办公室的具体格局布网施工一个逻辑）或者就是转变赛道了，向智齿客服，他们借助这两年国内出海的兴起，以及中东、东南亚需求的旺盛，提供在这个方向的智能客服国内服务，这可能还是有一些需求的。

其他人在问
蛟龙16pro配置（处理器R7-7745HX,显卡RTX4060 8G,硬盘512GPCIE4.0SSD）可以用于审计人员本地化部署大模型用于数据分析工作吗
蛟龙 16pro 的配置（处理器 R77745HX，显卡 RTX4060 8G，硬盘 512G PCIE4.0 SSD）对于审计人员本地化部署大模型用于数据分析工作来说，可能存在一定的局限性。 处理器 R77745HX 具有一定的计算能力，但在处理大规模数据和复杂的模型运算时，其性能可能不够强劲。 显卡 RTX4060 8G 对于一些较为复杂的图形处理和计算任务能够提供一定的支持，但对于大规模的深度学习模型训练和数据分析，可能会显得不足。 512G 的 PCIE4.0 SSD 硬盘容量相对较小，在存储大量数据时可能会很快耗尽空间。 综上所述，该配置在一定程度上可以用于简单的数据分析任务，但对于较为复杂和大规模的大模型本地化部署及数据分析工作，可能需要更强大的硬件配置，例如更高性能的处理器、更大容量和更高性能的显卡，以及更大的存储空间。
2024-09-14
蛟龙16pro配置可以用于审计人员本地化部署大模型用于数据分析工作吗
蛟龙 16pro 的配置信息对于能否用于审计人员本地化部署大模型进行数据分析工作，需要更多关于该设备具体配置的详细信息才能准确判断。一般来说，本地化部署大模型进行数据分析工作对计算机的硬件配置有较高要求，包括但不限于强大的 CPU 性能、充足的内存容量、高速的存储设备以及优秀的显卡性能等。如果您能提供蛟龙 16pro 更详细的配置参数，我可以为您做出更准确的评估和建议。
2024-09-14
为审计人员利用大模型本地化部署进行数据分析的电脑如何配置
对于审计人员利用大模型本地化部署进行数据分析的电脑配置，以下是相关建议： 生成文字大模型： 最低配置：8G RAM + 4G VRAM 建议配置：16G RAM + 8G VRAM 理想配置：32G RAM + 24G VRAM（如果要跑 GPT3.5 差不多性能的大模型） 生成图片大模型（比如跑 SD）： 最低配置：16G RAM + 4G VRAM 建议配置：32G RAM + 12G VRAM 生成音频大模型： 最低配置：8G VRAM 建议配置：24G VRAM 需要注意的是，最低配置运行速度可能非常慢。另外，对于 SDXL 的大模型，分为两个部分： 第一部分，base + refiner 是必须下载的，base 是基础模型，用于文生图操作；refiner 是精炼模型，用于对生成的模型进行细化，生成细节更丰富的图片。 第二部分，还有一个配套的 VAE 模型，用于调节图片的画面效果和色彩。 想要在 webUI 中使用 SDXL 的大模型，首先要在秋叶启动器中将 webUI 的版本升级到 1.5 以上。接下来，将模型放入对应的文件夹中，base 和 refiner 放在“……\\sdwebuiakiv4.2\\models\\Stablediffusion”路径下；vae 放在“……\\sdwebuiakiv4.2\\models\\VAE”路径下。完成之后，启动 webUI，就可以在模型中看到 SDXL 的模型。
2024-09-12
最为审计人员利用大模型本地化部署在电脑上进行数据分析，电脑如何配置
对于审计人员利用大模型本地化部署在电脑上进行数据分析，电脑配置需要考虑以下方面： 模型选择与下载： SDXL 大模型分为 base+refiner 两个必须下载的部分，base 是基础模型用于文生图操作，refiner 是精炼模型用于细化生成的模型，还有一个配套的 VAE 模型用于调节图片效果和色彩。您可以关注公众号【白马与少年】，回复【SDXL】获取下载链接。 除了上述模型，还可在 Civitai（C 站）https://civitai.com/ 寻找更多模型。使用 C 站时需科学上网，点击右上角筛选按钮找到所需模型类型，如 Checkpoint=大模型、LoRA=Lora，看到感兴趣的模型点击下载保存到电脑本地。 模型存放路径与使用： 将下载的模型放入对应文件夹，base 和 refiner 放在“……\\sdwebuiakiv4.2\\models\\Stablediffusion”路径下，vae 放在“……\\sdwebuiakiv4.2\\models\\VAE”路径下。启动 webUI 后可在模型中看到 SDXL 模型。 硬件配置需求： ChatGLM6B 模型：模型文件下载至本地需要 15 GB 存储空间。量化等级不同，对 GPU 显存要求不同，如 FP16（无量化）最低 GPU 显存（推理）需 13 GB，高效参数微调需 14 GB；INT8 推理需 8 GB，高效参数微调需 9 GB；INT4 推理需 6 GB，高效参数微调需 7 GB。 MOSS 模型：模型文件下载至本地需要 70 GB 存储空间。FP16（无量化）最低 GPU 显存（推理）需 68 GB。 Embedding 模型：默认选用的约占用显存 3GB，也可修改为在 CPU 中运行。
2024-09-12
使用开源大模型本地化部署使用电脑配置，推荐几款笔记本电脑
以下是关于使用开源大模型本地化部署所需电脑配置及笔记本电脑推荐的相关信息： 运行大模型需要较高的机器配置，个人玩家大多负担不起。以下是不同类型大模型的配置要求： 生成文字大模型： 最低配置：8G RAM + 4G VRAM 建议配置：16G RAM + 8G VRAM 理想配置：32G RAM + 24G VRAM（跑 GPT3.5 差不多性能的大模型） 生成图片大模型（比如跑 SD）： 最低配置：16G RAM + 4G VRAM 建议配置：32G RAM + 12G VRAM 生成音频大模型： 最低配置：8G VRAM 建议配置：24G VRAM 对于本地化部署，不建议使用最低配置，因为速度会非常慢。例如，用 8G 的 Mac 电脑尝试过，效果不佳。 由于本地化部署对电脑配置要求较高，不太推荐本地化安装实现。如果想使用开源大模型，可选择利用云厂商已提供好的大模型运行环境和计算能力，比如阿里云的 PAI 和 AutoDL。 在笔记本电脑选择方面，建议选择具备以下配置的机型： 1. 内存：16GB 及以上的 RAM。 2. 显卡：具有 8GB 及以上 VRAM 的独立显卡。 但具体的笔记本电脑型号还需根据您的预算和其他需求来确定。
2024-09-12
本地化部署
以下是关于本地化部署的相关内容： SDXL 的本地化部署： SDXL 的大模型分为两个部分： 1. 第一部分，base+refiner 是必须下载的，base 是基础模型，用于文生图操作；refiner 是精炼模型，用于对文生图生成的模型进行细化，生成细节更丰富的图片。 2. 第二部分，SDXL 还有一个配套的 VAE 模型，用于调节图片的画面效果和色彩。 这三个模型的下载链接可关注公众号【白马与少年】，回复【SDXL】获取。 在 webUI 中使用 SDXL 大模型，需先在秋叶启动器中将 webUI 的版本升级到 1.5 以上。然后将模型放入对应的文件夹中，base 和 refiner 放在“……\\sdwebuiakiv4.2\\models\\Stablediffusion”路径下；vae 放在“……\\sdwebuiakiv4.2\\models\\VAE”路径下。完成后启动 webUI，即可在模型中看到 SDXL 的模型。 正常使用方法：先在文生图中使用 base 模型，填写提示词和常规参数，尺寸可设为 10241024 进行生成。生成图片后，可将其发送到图生图中，大模型切换为“refiner”，重绘幅度开小一点，再次点击生成。 对于配置较高的电脑，如显卡为 4080ti，生成时间约在十秒左右。配置较低的需自行测试。 还可安装 refine 插件，在扩展列表中搜索 refine 并安装，重启后可在文生图界面直接使用 refine 模型进行绘画。 Google Gemma 的本地化部署： Google 发布的家用版小模型 Gemma 有 2b（20 亿参数）和 7b（70 亿参数）版本。 部署环境准备： 1. 首先提一下 Ollama，它是一个开源的大型语言模型服务，可方便地部署最新版本的 GPT 模型并通过接口使用，支持热加载模型文件，无需重新启动即可切换不同的模型。 2. 进入 ollama.com，下载程序并安装（支持 windows，linux 和 macos）。 3. 查找 cmd 进入命令提示符，输入 ollama v 检查版本，安装完成后版本应显示 0.1.26。 4. 输入 cls 清空屏幕，然后直接输入 ollama run gemma 运行模型（默认是 2b），首次需下载，等待一段时间。若想用 7b，运行 ollama run gemma:7b。完成后即可直接对话，2 个模型都安装后，可重复上述指令切换。
2024-09-11
AI视频技术攻关的必要性
AI 视频技术攻关具有多方面的必要性。 首先，随着视频内容在互联网和各种应用中的广泛传播，对视频质量、处理速度和智能化程度的要求不断提高。通过技术攻关，可以提升视频的分辨率、帧率和色彩准确性，为用户带来更优质的视觉体验。 其次，AI 视频技术在安防监控、医疗诊断、自动驾驶等领域具有关键作用。攻关相关技术能够提高对目标的识别和跟踪精度，及时发现异常情况，保障公共安全和医疗准确性，提升自动驾驶的安全性。 再者，在娱乐产业中，如虚拟现实（VR）、增强现实（AR）等领域，AI 视频技术的突破可以创造更具沉浸感和互动性的内容，推动产业的创新和发展。 最后，从技术发展的角度来看，AI 视频技术的攻关有助于推动人工智能技术的整体进步，促进相关算法和模型的优化，为其他领域的应用提供借鉴和支持。
2024-08-26
AI视频生成技术攻关的必要性
AI 视频生成技术攻关具有必要性，原因如下： 1. 2023 年是人工智能视频领域的飞跃之年，虽然已见证了多种视频生成工具的问世，但仍存在局限性，如大部分只能生成 3 到 4 秒的视频，视频质量参差不齐，角色风格一致性等难题尚未解决，距离仅凭文本提示制作出类似皮克斯电影的短片还有很长的路要走。 2. 过去一年在视频生成技术上的进展预示着正处于巨大变革的初期阶段，与图像生成技术的发展相似，相关模型在持续进步，衍生技术也开始流行。 3. AI 视频生成依旧处于技术驱动的发展模式中，更大的技术突破是产业现阶段的核心推动因素，目前的视频生成产业可能处于 GPT2 的时期，技术的突破可能远比想象中更快。 4. 视频生成作为多模态生成中难度最大的领域，存在很多应用问题，需要更大的技术突破来解决。 AIGC 即人工智能生成内容，是利用人工智能技术自动创作文本、音频、图像和视频等内容的新兴领域。人工智能赋能内容创作包括 AI 文本生成、AI 音频生成、AI 图像生成和 AI 视频生成。尽管 AIGC 技术展现出巨大潜力，但也面临技术、伦理和质量控制等挑战，技术成熟度需进一步提升，同时要考虑版权、隐私和伦理等方面的问题。未来，随着技术的完善和规范的建立，AIGC 有望成为互联网内容产业的重要驱动力，为用户提供更加丰富和个性化的体验。
2024-08-26
RAG技术实现的原理步骤
RAG 技术实现的原理步骤主要包括以下几个方面： 1. 理解问题：AI 模型首先需要理解用户的提问或指令。 2. 文档加载：从多种不同来源加载文档，如包括 PDF 在内的非结构化数据、SQL 在内的结构化数据，以及 Python、Java 之类的代码等。 3. 文本分割：文本分割器把 Documents 切分为指定大小的块，称为“文档块”或者“文档片”。 4. 存储： 将切分好的文档块进行嵌入转换成向量的形式。 将 Embedding 后的向量数据存储到向量数据库。 5. 检索：通过某种检索算法从向量数据库中找到与输入问题相似的嵌入片。 6. 检索相关知识：AI 模型根据对问题的理解，从外部知识库中检索相关的信息。 7. 整合知识与推理：AI 模型将检索到的知识与自身的推理能力相结合，生成最终的答案或内容。 例如，在医疗领域，RAG 技术可以帮助医疗 AI 助手获取最新的医学知识和临床案例，从而提高其诊断和治疗建议的准确性。但需要注意的是，在将大型文档转换为可检索内容的过程中，如文档解析和文本切分、嵌入向量生成等步骤，每一步都可能导致信息损失，复合损失会显著影响 RAG 响应的效果。
2024-09-17
RAG技术原理
RAG（RetrievalAugmented Generation，检索增强生成）是一种自然语言处理技术，主要用于提高语言模型的效果和准确性。其原理包括以下几个方面： 1. 由于大模型的训练数据有截止日期，当需要依靠不在训练集中的数据时，RAG发挥作用。 2. 过程包括文档加载，从多种来源加载包括非结构化、结构化和代码等不同类型的文档。 3. 进行文本分割，把文档切分为指定大小的块。 4. 涉及存储环节，包括将切分好的文档块嵌入转换成向量形式，并将向量数据存储到向量数据库。 5. 通过某种检索算法从向量数据库中检索出与输入问题相似的嵌入片。 6. 结合了检索和生成两种主要的自然语言处理方法。 检索部分从大量文本数据中检索出与输入问题最相关的信息，通常使用检索系统在大规模文档集合中寻找相关文段。 生成部分使用类似 GPT 的语言模型，根据检索到的信息生成响应或回答，涉及理解检索内容并生成连贯、相关且信息丰富的文本。 7. RAG 的出现解决了语言模型仅依靠固定资料回答问题的局限性，允许模型到搜索引擎上搜索相关资料，并结合自身知识体系综合回复。 其中的检索环节并非简单操作，还包含对输入问题的纠错、补充、拆分以及对搜索内容的权重逻辑等。
2024-09-17
RAG技术
RAG 即检索增强生成（RetrievalAugmented Generation），是一种结合了检索（检索外部知识库中相关信息）和生成（利用大型语言模型生成文本）的技术。 其工作原理包括以下几个步骤： 1. 理解问题：AI 模型首先理解用户的提问或指令。 2. 检索相关知识：根据对问题的理解，从外部知识库中检索相关信息。例如，用户问“埃菲尔铁塔有多高？”，AI 模型会从知识库中检索关于埃菲尔铁塔的信息。 3. 整合知识与推理：将检索到的知识与自身的推理能力相结合，生成最终的答案或内容。 RAG 技术的优势在于能够将 AI 模型与外部知识库连接起来，从而扩展 AI 模型的知识范围，提高其回答问题和生成内容的准确性。例如在医疗领域，可帮助医疗 AI 助手获取最新的医学知识和临床案例，提高诊断和治疗建议的准确性。 RAG 由两部分组成：一个“检索器”和一个“生成器”。检索器从外部知识中快速找到与问题相关的信息，生成器则利用这些信息来制作精确和连贯的答案。这种结合使得 RAG 非常适合处理需要广泛知识的任务，如问答系统，能够提供详细而准确的回答。 LangChain 是一个用于构建高级语言模型应用程序的框架，与 RAG 的关系在于，RAG 能够为大型语言模型提供来自外部知识源的附加信息，使得模型在应对下游任务时能够生成更精确和上下文相关的答案，并减少幻觉现象，而 LangChain 的设计主张集中在模块化组件上，为开发人员使用大型语言模型创建应用程序提供便利。
2024-09-17
rag与ai agent的区别
RAG（检索增强生成）与 AI Agent 存在以下区别： RAG 是给大模型提供一个浏览器工具来使用，而 AI Agent 则是给大模型提供了更多的工具，如长期记忆（相当于给大模型一个数据库工具来记录重要信息）、规划和行动（在大模型的 prompt 层进行目标拆解，并输出不同的固定格式 action 指令给工具）。 在实际应用中，外置知识的集成和管理常常采用 RAG 架构，它通过检索外部知识源来增强模型的生成能力。而 AI Agent 不仅依赖内置知识，还能实时检索和整合最新的外部信息来完成任务，例如可以让大模型帮忙安排差旅，它会判断完成目标所需的步骤，搜索差旅记录，预订酒店和机票等。 总的来说，AI Agent 在 RAG 的基础上有了更多的功能和更广泛的应用空间。
2024-09-06
有什么类似于 ragflow，dify 可以本地部署的
Dify 是一个开源的大模型应用开发平台，它融合了后端即服务和 LLMOps 的理念，为用户提供直观界面，能快速构建和部署生产级别的生成式 AI 应用。其具有强大的工作流构建工具，支持广泛的模型集成，提供功能丰富的提示词 IDE 以及全面的 RAG Pipeline 用于文档处理和检索。此外，允许用户定义 Agent 智能体，并通过 LLMOps 功能持续监控和优化应用程序性能。Dify 提供云服务和本地部署选项，满足不同需求，其开源特性确保对数据的完全控制和快速产品迭代。Dify 的设计理念注重简单、克制和快速迭代，能帮助用户将 AI 应用创意快速转化为现实。无论是创业团队构建 MVP、企业集成 LLM 增强现有应用能力，还是技术爱好者探索 LLM 潜力，Dify 都提供相应支持和工具。Dify 官方手册：https://docs.dify.ai/v/zhhans 。一般来说，如果是个人研究，推荐单独使用 Dify，如果是企业级落地项目，推荐使用多种框架结合，效果更好。
2024-08-30
RAG的局限
RAG 技术存在以下局限性： 1. 知识领域方面：适合打造专才，不适合打造通才。能够提供新的信息、专有领域知识等，但不适合提供通用领域知识。 2. 模型输出方面：让模型保持稳定的风格或结构输出，降低 token 消耗等，这两点需要使用微调技术解决。 3. 检索质量方面：RAG 技术的表现高度依赖于检索到的信息质量。如果知识库中的信息存在错误或偏差，生成内容也可能受其影响。 4. 资源需求方面：计算资源需求较高，可能限制其在资源有限的场景中的应用。 5. 处理速度方面：由于需要先进行信息检索，再进行内容生成，处理速度相对较慢，可能不适合实时性要求高的应用。 6. 可能引入错误和幻觉：例如检索出不相关或不准确的文本片段，或者生成与输入或上下文不一致的输出。
2024-08-29
ai agent 就是 ai 工具吗
AI Agent 是基于大型语言模型（LLM）和其他技术实现的智能实体，其核心功能在于自主理解、规划决策、执行复杂任务。 AI Agent 包括以下几个概念： 1. Chain：通常一个 AI Agent 可能由多个 Chain 组成。一个 Chain 视作一个步骤，可以接受一些输入变量，产生一些输出变量。大部分的 Chain 是大语言模型完成的 LLM Chain。 2. Router：可以使用一些判定（甚至可以用 LLM 来判定），然后让 Agent 走向不同的 Chain。例如：如果这是一个图片，则 a；否则 b。 3. Tool：Agent 上可以进行的一次工具调用。例如，对互联网的一次搜索，对数据库的一次检索。 总结下来需要三个 Agent： 1. Responser Agent：主 agent，用于回复用户（伪多模态）。 2. Background Agent：背景 agent，用于推进角色当前状态（例如进入下一个剧本，抽检生成增长的记忆体）。 3. Daily Agent：每日 agent，用于生成剧本，配套的图片，以及每日朋友圈。 这三个 Agent 每隔一段时间运行一次（默认 3 分钟），运行时会分析期间的历史对话，变更人物关系（亲密度，了解度等），变更反感度，如果超标则拉黑用户，抽简对话内容，提取人物和用户的信息成为“增长的记忆体”，按照时间推进人物剧本，有概率主动聊天（与亲密度正相关，跳过夜间时间）。 此外，AI Agent 也像是在 RAG 的基础上更进一步。RAG 是给大模型一个浏览器工具使用，而 Agent 给了大模型更多工具，比如长期记忆（给大模型一个数据库工具记录重要信息）、规划和行动（在大模型的 prompt 层做逻辑，将目标拆解并输出不同的固定格式 action 指令给工具）。 总的来说，AI Agent 代表了在流程中给大模型使用工具的能力，为大模型的应用提供了更广阔的空间。例如可以让大模型安排差旅，它会判断完成目标所需步骤，搜索近期差旅记录，在相关平台预订酒店和机票，最终完成任务。
2024-09-18
ai agent
AI 智能体（Agent）是随着 ChatGPT 与 AI 概念爆火而出现的新名词，简单理解就是 AI 机器人小助手，参照移动互联网，类似 APP 应用的概念。AI 大模型是技术，面向用户服务的是产品，因此很多公司关注 AI 应用层的产品机会。 在做 Agent 创业的公司有不少，C 端案例中，比如在社交方向，用户注册后先创建自己的 Agent，然后让其与他人的 Agent 聊天，两个 Agent 聊到一起后真人再介入，这是有趣的场景；还有借 Onlyfans 入局打造个性化聊天的创业公司。B 端案例中，如果字节扣子和腾讯元器是面向普通人的低代码平台，类似 APP 时代的个人开发者，那么还有帮助 B 端商家搭建 Agent 的机会，类似 APP 时代专业做 APP 的。 此外，字节于 2 月 1 日正式推出 AI 聊天机器人构建平台 Coze 的国内版“扣子”，主要用于开发下一代 AI 聊天机器人。还有一个情绪主题角色扮演小游戏，本文会按照需求分析、分步实现需求、提示词编写测试、GPTs 使用链接、总结的顺序进行介绍。智能体来源于 Cathy 教练和 Leah 老师的情绪力手册，这是帮助家长和孩子从源头了解、分辨、分析、处理和控制情绪的手册，内涵多个相关的智能体。
2024-09-18
agent 相关的知识
以下是关于 Agent 的相关知识： 在人工智能领域，Agent 通常被定义为一种具有感知能力的实体，它能够通过对其所处环境的观察来做出相应的决策和反应。Agent 既可以是软件形式的程序，例如对话机器人，也可以具备物理形态，比如扫地机器人。 从产品经理角度思考 Agent： Agent 可以是一个历史新闻探索向导。 身份：历史新闻探索向导。 性格：知识渊博、温暖亲切、富有同情心。 角色：主导新闻解析和历史背景分析。 为使角色更生动，可为其设计简短的背景故事，比如曾是一位对世界重大历史事件了如指掌、充满热情且愿意分享知识的历史学家。 写好角色个性的方法： 角色背景和身份：编写背景故事，明确起源、经历和动机。 性格和语气：定义性格特点，如友好、幽默、严肃或神秘；确定说话方式和风格。 角色互动方式：设计对话风格，从基本问答到深入讨论。 角色技能：明确核心功能，如提供新闻解析、历史背景分析或心理分析；增加附加功能以提高吸引力和实用性。 “智能体”（Agent）在人工智能和计算机科学领域是一个非常重要的概念，指的是一种能够感知环境并采取行动以实现特定目标的实体，可以是软件程序，也可以是硬件设备。
2024-09-14
我想设计一款符合企业内部办公的ai agent，有哪些资料可以辅助参考
以下是一些可辅助您设计符合企业内部办公的 AI Agent 的资料和相关信息： Agent 构建平台： 1. Coze：新一代一站式 AI Bot 开发平台，集成丰富插件工具，适用于构建各类问答 Bot，能拓展 Bot 能力边界。 2. Microsoft 的 Copilot Studio：主要功能包括外挂数据、定义流程、调用 API 和操作，可将 Copilot 部署到各种渠道。 3. 文心智能体：百度推出的基于文心大模型的智能体平台，支持开发者打造产品能力。 4. MindOS 的 Agent 平台：允许用户定义 Agent 的个性、动机、知识，以及访问第三方数据和服务或执行工作流。 5. 斑头雁：基于企业知识库构建专属 AI Agent 的平台，适用于客服、营销、销售等场景，提供多种成熟模板，功能强大且开箱即用。 6. 钉钉 AI 超级助理：依托钉钉强大的场景和数据优势，在处理高频工作场景如销售、客服、行程安排等方面表现出色。 AI Agent 的概念和组成： 1. LLM（大模型）：提供庞大的信息存储和处理能力，以理解和响应问题。 2. Planning（规划）：如同园丁制定种植计划，决定任务执行步骤。 3. Memory（记忆）：类似于园丁的笔记本，记录经验和已完成任务。 4. Tools（工具）：指可运用的各种软件和程序，帮助执行复杂任务。 AI Agent 的相关概念： 1. Chain：通常一个 AI Agent 可能由多个 Chain 组成，每个 Chain 可视为一个步骤，接受输入变量并产生输出变量，大部分是由大语言模型完成的 LLM Chain。 2. Router：可使用判定（甚至用 LLM 判定）让 Agent 走向不同的 Chain。 3. Tool：Agent 上的一次工具调用，如对互联网的搜索或对数据库的检索。 此外，还包括以下三种 Agent： 1. Responser Agent：主 agent，用于回复用户（伪多模态）。 2. Background Agent：背景 agent，用于推进角色当前状态，如进入下一个剧本，抽检生成增长的记忆体等。 3. Daily Agent：每日 agent，用于生成剧本、配套图片和每日朋友圈。 这三种 Agent 每隔一段时间运行一次（默认 3 分钟），分析期间的历史对话，变更人物关系、反感度等，抽简对话内容提取信息成为“增长的记忆体”，按照时间推进人物剧本，有概率主动聊天（与亲密度正相关，跳过夜间时间）。 以上信息提供了关于 AI Agent 的概述，您可以根据自己的需求选择适合的平台和概念进行进一步探索和应用。请注意，内容由 AI 大模型生成，请仔细甄别。
2024-09-13
AI agent 落地例子
以下是关于 AI agent 的相关信息： AI agent 是在 rag 的基础上更进一步，给大模型提供了更多工具，如长期记忆（相当于给大模型一个数据库工具记录重要信息）、规划和行动（在大模型的 prompt 层做逻辑，将目标拆解并输出固定格式的 action 指令给工具）。例如可以让大模型安排差旅，它会判断完成目标所需步骤，搜索差旅记录，预订酒店和机票等。 一些 Agent 构建平台包括： Coze：新一代一站式 AI Bot 开发平台，集成丰富插件工具拓展 Bot 能力。 Microsoft 的 Copilot Studio：具备外挂数据、定义流程、调用 API 和操作等功能，并能部署到多种渠道。 文心智能体：百度推出的基于文心大模型的智能体平台。 MindOS 的 Agent 平台：允许用户定义 Agent 的个性、动机、知识等，并能访问第三方数据和服务或执行工作流。 斑头雁：2B 基于企业知识库构建专属 AI Agent 的平台，适用于多种场景，提供多种成熟模板。 钉钉 AI 超级助理：依托钉钉优势，在处理高频工作场景表现出色。 大型语言模型置于 Agent 的“大脑”或“控制器”核心位置，赋予强大语言理解和生成能力。通过多模态感知技术和工具利用策略扩展感知和行动范围，采用思维链和问题分解技术展现出推理和规划能力，能从反馈中学习并与环境互动，在软件开发、科学研究等现实世界场景中得到应用，还能与其他 Agent 交流协作。
2024-09-11
什么是agent，技术原理是什么，有哪些应用
智能体（Agent）是指能够自主感知环境、做出决策并执行动作以实现特定目标的实体。 其技术原理包括： AppAgent 可以通过自主学习和模仿人类的点击和滑动手势，能够在手机上执行各种任务。它是一个基于大语言模型的多模态代理，能够处理和理解多种类型的信息（如文本、图像、触控操作等）。 沉浸式单机剧本杀 Bot 由多个 agent 共同协作完成，包括主持人 Agent 通过对话引导玩家，条件判断 Agent 负责解析玩家输入判断触发条件，以及通过对剧本内容进行向量化处理和构建索引来使剧情展开更流畅。 智能体的应用领域广泛，例如： 自动驾驶：自动驾驶汽车中的智能体感知周围环境，做出驾驶决策。 家居自动化：智能家居设备（如智能恒温器、智能照明）根据环境和用户行为自动调节。 游戏 AI：游戏中的对手角色（NPC）和智能行为系统。 金融交易：金融市场中的智能交易算法，根据市场数据做出交易决策。 客服聊天机器人：通过自然语言处理与用户互动，提供自动化的客户支持。 机器人：各类机器人（如工业机器人、服务机器人）中集成的智能控制系统。
2024-09-11