Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

搭建私有大模型

Answer

搭建私有大模型可以参考以下几种方法：

  1. 方法一
    • 搭建OneAPI，用于汇聚整合多种大模型接口，方便后续更换使用各种大模型，同时会告知如何白嫖大模型接口。
    • 搭建FastGpt，这是一个知识库问答系统，将知识文件放入，并接入上面的大模型作为分析知识库的大脑，最后回答问题。若不想接入微信，搭建完此系统即可，它也有问答界面。
    • 搭建chatgpt-on-wechat接入微信，配置FastGpt将知识库问答系统接入微信。建议先用小号以防有封禁风险。搭建完后想拓展功能，可参考Yaki.eth同学的教程Yaki：GPT/MJ接入微信，其中的cow插件能进行文件总结、MJ绘画。
  2. 方法二
    • 部署大语言模型：
      • 下载并安装Ollama，根据电脑系统，从https://ollama.com/download 下载。下载完成后，双击打开，点击“Install”。安装完成后，将下方地址复制进浏览器中，若出现相关字样，表示安装完成：http://127.0.0.1:11434/ 。
      • 下载qwen2:0.5b模型（0.5b是为了方便测试，下载快，设备充足可下载更大模型）。若为windows电脑，点击win+R，输入cmd，点击回车；若为Mac电脑，按下Command（⌘）+Space键打开Spotlight搜索，输入“Terminal”或“终端”，然后从搜索结果中选择“终端”应用程序。复制相关命令行，粘贴进入，点击回车，等待下载完成。
  3. 方法三
    • 企业大模型四步走的第一步是私有化部署通用大模型，一是解决AI科普问题，二是满足一些通用需求。若有能力，可赠送免费的私有化部署通用大模型，其为千亿模型的缩小版、浓缩版，能解决科普问题，让企业员工熟悉大模型，同时满足办公等通用需求。此外，还提供了360AI办公的一套会员服务，围绕办公营销需求做了很多工具，以订阅模式耗费算力，每天几乎一块钱。
Content generated by AI large model, please carefully verify (powered by aily)

References

DIN：全程白嫖 - 拥有一个AI大模型的微信助手

1.搭建[OneAPI](https://github.com/songquanpeng/one-api)，这东西是为了汇聚整合多种大模型接口，方便你后面更换使用各种大模型。下面会告诉你怎么去白嫖大模型接口。2.搭建[FastGpt](https://fastgpt.in/)，这东西就是个知识库问答系统，你把知识文件放进去，再把上面的大模型接进来，作为分析知识库的大脑，最后回答你问题，这么个系统。如果你不想接到微信去，自己用用，其实到这里搭建完就OK了，他也有问答界面。3.搭建[chatgpt-on-wechat](https://github.com/zhayujie/chatgpt-on-wechat)，接入微信，配置FastGpt把知识库问答系统接入到微信。这里建议先用个小号，以防有封禁的风险。搭建完后想拓展Cow的功能，我推荐Yaki.eth同学这篇教程[Yaki：GPT/MJ接入微信](https://waytoagi.feishu.cn/wiki/UADkwZ9B0iAWdTkFJIjcN7EgnAh)，里面的cow插件能进行文件总结、MJ绘画的能力。完成上面3步就算OK了，那我们正式开始。

张梦飞：【全网最细】从LLM大语言模型、知识库到微信机器人的全本地部署教程

我们需要进行部署的有三大部分1、本地部署大语言模型2、本地部署FastGPT+OneAPI3、本地部署HOOK项目或COW[heading1]一、部署大语言模型[content]一、下载并安装Ollama1、点击进入，根据你的电脑系统，下载Ollama：https://ollama.com/download2、下载完成后，双击打开，点击“Install”3、安装完成后，将下方地址复制进浏览器中。如果出现下方字样，表示安装完成http://127.0.0.1:11434/二、下载qwen2:0.5b模型（0.5b是为了方便测试，下载快，自己设备充足的话，可以下载更大的模型）1、如果你是windows电脑，点击win+R输入cmd，点击回车如果你是Mac电脑，按下Command（⌘）+Space键打开Spotlight搜索。输入“Terminal”或“终端”，然后从搜索结果中选择“终端”应用程序。2、复制以下命令行，粘贴进入，点击回车：3、回车后，会开始自动下载，等待完成（这里下载久了，可能会发现卡着不动，不知道下载了多少了。鼠标点击一下窗口，键盘点空格，就会刷新了）4、下载完成后你会发现，大模型已经在本地运行了。输入文本即可进行对话。

周鸿祎免费课AI系列第二讲-企业如何拥抱AI

如果有能力的话，我们愿意给大家赠送免费的私有化部署一个通用大模型。私有化部署是为了解决隐私泄露和数据流失的问题，那这个大模型不需要做任何训练，就是一个千亿模型的一个缩小版，一个浓缩版，它解决什么？解决科普问题，就让你企业的员工在不泄露贵公司的数据和隐私的前提下，把这个大模型玩起来，让大家对大模型熟悉。第二个满足一些通用的需求，比如说办公，这里面支持办公的通用需求、通用能力和营销的能力。这产品的细节我就不多说了，这个就跟360内部很早让自己员工对大模型有感觉。你的员工用三个月之后，相信我，你的员工都很聪明，他们对大模型的了解就很好了，他们就知道大模型的边界在哪，长处在哪，短处在哪。比如我们天津某新区做了个大模型的项目，就是这么干的，就是用了一个通用大模型，允许它在上面做定制。另外我们提供了360AI办公的一套会员服务，围绕着办公营销的需求做了很多的工具。我们现在做了工具就把它场景化，就是围绕一个场景解决一个问题。就是在内部通用大模型的基础之上，在内部提供一些通用的办公营销创作的能力。订阅模式，它是耗费算力的，但大家几乎每天一块钱。

Others are asking
deepseek 私有化部署
DeepSeek 的私有化部署相关信息如下： PaaS 平台特性：支持多机分布式部署，满足推理性能要求，使用独占资源和专有网络，能一站式完成模型蒸馏。 云端部署操作：登录 Pad 控制台，通过 model gallery 进行部署，如 Deepseek R1 模型，可选择 SG 浪或 Vim 推理框架，根据资源出价，部署后可在模型在线服务 EAS 查看状态。 模型试用方法：使用 postman，通过修改接口和复制文档中的内容进行在线调试，发送请求查看状态码，根据模型名称和相关要求输入内容进行试用。 作业布置：部署成功一个大语言模型，通过调试证明成功，在调试内容中带上钉钉昵称向模型对话，将成功结果提交问卷可获得阿里云小礼包。 API 调用与服务关停：介绍了模型 API 的调用方法，包括查找位置、获取 token 等，强调使用后要及时停止或删除服务以避免持续付费。 模型蒸馏概念：教师模型将知识蒸馏给学生模型，有多种蒸馏方式，如 R1 通过蒸馏数据集并用于学生模型微调。 蒸馏应用场景：包括车机等算力有限场景，能让小模型在特定领域有良好效果，还能实现低成本高速推理和修复模型幻觉。 模型部署实操：在 model gallery 中选择模型，如 1000 问 7B 指令模型，进行部署，选择 VIM 加速和竞价模式，查看部署状态和日志。 本地部署介绍：讲解了如果拥有云服务器如何进行本地部署，以及满血版本地部署的实际情况。 免费额度说明：在 freely.aliyun.com 可领取 500 元免费额度，但有使用限制，不能部署满血版和较大的增流模型。 平台服务差异：介绍了 DLC、DSW 和 EAS 等模型部署平台服务的差别。 模型蒸馏微调：会带着大家复现模型的蒸馏和微调，并讲解相关知识。 Deepseek R1 模型的制作及相关模型比较：R1 模型通过强化学习，在训练过程中给予模型反馈，如路线规划是否成功到达终点、输出格式是否符合期望等，对正确路线增强权重，使做对的概率变高，导致思考逻辑变长。用 Deepseek RE Zero 蒸馏出带思考的数据，基于 Deepseek V3 微调，进行冷启动，再做强化学习，还从非公布模型提取微调数据，加上人类偏好，最终形成 R1。R1 是原生通过强化学习训练出的模型，蒸馏模型是基于数据微调出来的，基础模型能力强，蒸馏微调模型能力也会强。R1 反过来蒸馏数据微调 V3，形成互相帮助的局面，使两个模型都更强。
2025-03-24
如何一步一步实现RAG 模型的私有化部署
要一步一步实现 RAG 模型的私有化部署，可参考以下步骤： 1. 导入依赖库：加载所需的库和模块，如 feedparse 用于解析 RSS 订阅源，ollama 用于在 python 程序中跑大模型，使用前需确保 ollama 服务已开启并下载好模型。 2. 从订阅源获取内容：通过特定函数从指定的 RSS 订阅 url 提取内容，若需接收多个 url 稍作改动即可。然后用专门的文本拆分器将长文本拆分成较小块，并附带相关元数据，如标题、发布日期和链接，最终合并成列表返回用于后续处理或提取。 3. 为文档内容生成向量：使用文本向量模型 bgem3，从 hf 下载好模型后放置在指定路径，通过函数利用 FAISS 创建高效的向量存储。 4. 关于 ollama： 支持多种大型语言模型，包括通义千问、Llama 2、Mistral 和 Gemma 等，适用于不同场景。 易于使用，适用于 macOS、Windows 和 Linux 系统，同时支持 cpu 和 gpu。 提供模型库，用户可从中下载不同模型，满足不同需求和硬件条件，可通过 https://ollama.com/library 查找。 支持自定义模型，可修改模型温度参数等。 提供 REST API 用于运行和管理模型及与其他应用集成。 社区贡献丰富，有多种集成插件和界面。 需先安装，访问 https://ollama.com/download/ 下载安装，安装后确保 ollama 后台服务已启动。 5. 基于用户问题从向量数据库中检索相关段落，根据设定阈值过滤，让模型参考上下文信息回答问题实现 RAG。 6. 创建网页 UI：通过 gradio 创建网页 UI 并进行评测。 总结： 1. 本文展示了如何使用 Langchain 和 Ollama 技术栈在本地部署资讯问答机器人，结合 RSSHub 处理和提供资讯。 2. 上下文数据质量和大模型的性能决定 RAG 系统性能上限。
2025-03-20
RAG 模型的私有化部署
RAG 模型的私有化部署通常在商业化过程中被用于结合企业私有数据。在企业有特殊需求时，还可对模型进行微调以优化性能。基础模型负责提供推理提示，RAG 用于整合新知识，实现快速迭代和定制化信息检索。 构建有效的 RAG 系统需要考虑多个因素： 1. 数据安全性：若有需求，需进行私有化部署，并考虑硬件成本。 2. 数据集复杂度和数量级：复杂数据集带来高昂的文档清洗、解析和分割成本，大数据量级带来存储成本上升。 3. 回答质量要求：要求越高，需要越复杂的检索算法和更强大的 LLM，带来算力成本。 4. 数据更新频率：频繁更新可能需要高昂的维护成本。 此外，实现本地部署资讯问答机器人时，如 Langchain + Ollama + RSSHub 实现 RAG，需导入依赖库、从订阅源获取内容、为文档内容生成向量等步骤。
2025-03-20
RAG 模型的私有化部署
RAG 模型的私有化部署通常在商业化过程中被用于结合企业私有数据。在企业有特殊需求时，还可对模型进行微调以优化性能。基础模型负责提供推理提示，RAG 用于整合新知识、实现快速迭代和定制化信息检索。 构建有效的 RAG 系统并不简单，企业若要进行私有化部署，需考虑以下因素： 1. 数据安全性：若有需求，需考虑硬件成本。 2. 数据集复杂度和数量级：复杂数据集会带来高昂的文档清洗、解析和分割成本，大数据量级会带来存储成本上升。 3. 回答质量要求：要求越高，需要越复杂的检索算法和更强大的 LLM，会带来算力成本。 4. 数据更新频率：频繁更新可能需要高昂的维护成本。 此外，实现 RAG 模型私有化部署还涉及一些技术操作，如本地部署资讯问答机器人时，需要导入依赖库、从订阅源获取内容、为文档内容生成向量等。
2025-03-20
AI Agent MANUS个人助手是否可以本地私有化部署
目前没有明确的信息表明 AI Agent MANUS 个人助手可以本地私有化部署。 Manus 是一款由中国团队研发的全球首款通用型 AI 代理工具，于 2025 年 3 月 5 日正式发布。它区别于传统聊天机器人，具备自主规划、执行复杂任务并直接交付完整成果的能力。其技术架构主要基于多智能体架构，运行在独立的虚拟机中，核心功能由多个独立模型共同完成，包括规划、执行和验证三个子模块，还包括虚拟机、计算资源、生成物、内置多个 agents 等关键组件，并采用了“少结构，多智能体”的设计哲学。 但对于其是否能本地私有化部署，现有资料未给出确切说明。在构建高质量的 AI 数字人方面，由于整个数字人的算法部分组成庞大，几乎不能实现单机部署，特别是大模型部分，算法一般会部署到额外的集群或者调用提供出来的 API。而在本地部署资讯问答机器人方面，有相关案例，但未提及与 AI Agent MANUS 个人助手的直接关联。
2025-03-07
deepseek 私有化训练
以下是关于 DeepSeek 私有化训练的相关信息： 模型测试、问题探讨与新模型部署过程： 探讨了模型存在幻觉、答案有概率性等问题，并对比了加提示词前后的情况。 准备从 32B 蒸馏新模型，提及该模型的资源需求及阿里云拍卖机制。 介绍了启动 DSW 获取廉价 CPU 资源，以及部署模型时因库存不足不断加价的过程。 派平台大模型训练与微调实操讲解： 许键分享了抢硬件资源的方法，演示了通过提问蒸馏标注数据。 讲解了在派平台训练模型的流程，包括参数设置、数据集上传等，并展示了训练效果和日志查看。 说明了训练好的模型部署方法，强调训出满意模型需要大量基础知识学习。 模型蒸馏微调演示、平台介绍与问题解答： 许键展示了模型微调后的效果，如幻觉下降等。 介绍了阿里云解决方案，对比了百炼和派平台的差异。 进行了 Q&A，回答了无监督学习微调、训练数据资源、多模态训练标注、Python 代码报错等问题，提及派平台有公用数据集，还举例说明了多模态标注方式。 总结： 本地部署介绍：讲解了如果拥有云服务器如何进行本地部署，以及满血版本地部署的实际情况。 免费额度说明：在 freely.aliyun.com 可领取 500 元免费额度，但有使用限制，不能部署满血版和较大的增流模型。 平台服务差异：介绍了 DLC、DSW 和 EAS 等模型部署平台服务的差别。 模型蒸馏微调：会带着大家复现模型的蒸馏和微调，并讲解相关知识。 Deepseek R1 模型的制作及相关模型比较： R1 模型的强化学习：通过强化学习，在训练过程中给予模型反馈，对正确路线增强权重，使做对的概率变高，导致思考逻辑变长。 R1 模型的蒸馏与微调：用 Deepseek RE Zero 蒸馏出带思考的数据，基于 Deepseek V3 微调，进行冷启动，再做强化学习，还从非公布模型提取微调数据，加上人类偏好，最终形成 R1。 R1 与其他模型的差别：R1 是原生通过强化学习训练出的模型，蒸馏模型是基于数据微调出来的，基础模型能力强，蒸馏微调模型能力也会强。 模型的相互帮助：Deepseek R1 反过来蒸馏数据微调 V3，形成互相帮助的局面，使两个模型都更强。 智能章节： 许键介绍今日课程重点是云服务器上如何使用 Deepseek R1 及本地部署相关内容，提及派平台免费额度及适用模型。还介绍了自己和社区情况。接着讲解 Deepseek R1 制作过程，包括强化学习概念及示例，阐述其从 Deepseek r e Zero 到 M2 等模型的演变及原理。 主要介绍了 Deepseek R1 模型的构建过程，包括多轮强化学习和微调，还提及蒸馏模型的情况。探讨了不同模型部署所需的显存、内存及成本，对比了各模型在专业领域的能力表现。 介绍了以云基础设施和 GPU 算力资源为底层的派平台。该平台搭建 AI 框架并做优化，提供一键式快捷部署工具等。与百炼不同，它开放更多自由度，租户数据隔离。很多大模型在此训练，支持多机分布式部署等，既面向企业，也适合个人创业者，不同应用定价有差异。
2025-03-05
如何综合运用插件、工作流、知识库，搭建满足各种需求的智能体，尤其是调用多个智能体，组成像Manus这样的工具？
要综合运用插件、工作流、知识库搭建满足各种需求的智能体，尤其是调用多个智能体组成类似 Manus 的工具，需要了解以下内容： 插件：插件如同一个工具箱，里面可放置一个或多个工具，称为 API。扣子平台有多种类型的插件，如看新闻、规划旅行、提高办公效率、理解图片内容的 API 及能处理多种任务的模型。若平台现有插件不符合需求，还可自行制作添加所需 API。 工作流：工作流类似可视化拼图游戏，可将插件、大语言模型、代码块等功能组合，创建复杂稳定的业务流程。工作流由多个节点组成，开始和结束节点有特殊作用，不同节点可能需要不同信息，包括引用前面节点信息或自行设定信息。 知识库：可上传私有文件作为回答参考。 智能体：智能体是对自定义操作的封装，用于解决特定场景问题。以 ChatGPT 的 GPTs 为例，包括描述作用和回复格式的提示词、作为回答参考的知识库、请求第三方 API 获取实时数据的外挂 API 以及个性化配置等。 例如，在“竖起耳朵听”的智能体中添加了插件和工作流的相关设置。创建智能体时，输入人设等信息，并配置工作流。但需注意，如工作流中使用的插件 api_token 为个人 token 时，不能直接发布，可将其作为工作流开始的输入，由用户购买后输入使用再发布。 此外，在 AI 搜索中，可预置 after_answer 钩子，将请求大模型的上下文和回答发给第三方插件整理成文章或思维导图等格式同步到第三方笔记软件。全流程中有很多节点可做 Hook 埋点，多个插件构成可插拔架构，常用功能可抽离成标准插件用于主流程或辅助流程，还可自定义智能体 Agent 等。
2025-03-29
最适合搭建本地个人知识库的ai是什么
以下是一些适合搭建本地个人知识库的 AI 相关技术和工具： 1. RAG（Retrieval Augmented Generation）技术：利用大模型的能力搭建知识库，其应用包括文档加载（从多种来源加载文档）、文本分割（把文档切分为指定大小的块）、存储（将切分好的文档块嵌入并存储到向量数据库）、检索（通过检索算法找到与输入问题相似的嵌入片）和输出（把问题及检索出的嵌入片提交给 LLM 生成答案）。 2. Open WebUI：一般有两种使用方式，包括聊天对话和 RAG 能力（让模型根据文档内容回答问题，是构建知识库的基础之一）。如果要求不高，通过其可实现本地大模型的对话功能。 3. AnythingLLM：包含 Open WebUI 的能力，并额外支持选择文本嵌入模型和向量数据库。安装完成后，配置主要分为三步，包括选择大模型、文本嵌入模型和向量数据库。在 AnythingLLM 中，有 Workspace 的概念，可创建工作空间，上传文档并进行文本嵌入，还提供了 Chat 模式（综合给出答案）和 Query 模式（仅依靠文档数据给出答案）两种对话模式。
2025-03-28
你这个知识库和检索是用什么搭建的？
我们的知识库和检索主要基于以下原理和流程搭建： 1. 文本预处理：包括去除无关字符、标准化文本（如将所有字符转换为小写）、分词等，以清洁和准备文本数据。 2. 嵌入表示：将预处理后的文本（词或短语）转换为向量。通常通过使用预训练的嵌入模型，如 Word2Vec、GloVe、BERT 等，将每个词或短语映射到高维空间中的一个点（即向量）。 3. 特征提取：对于整个问题句子，可能应用进一步的特征提取技术，比如句子级别的嵌入，或使用深度学习模型（如 BERT）直接提取整个句子的表示，以捕捉句子的上下文信息。 4. 向量优化：在某些情况下，问题的向量表示可能会根据具体任务进行优化，例如通过调整模型参数来更好地与检索系统的其他部分协同工作。 在知识库检索阶段： 1. 首先需要有一个知识库。在大模型的检索中，并非依靠传统的关键字搜索，而是依靠问题在空间中的向量位置，去寻找距离这个向量最近的其他词句，然后完成检索。 2. 要在向量中进行检索，我们的知识库会被转化成一个巨大的向量库。具体流程包括文档向量化、文档加载（从多种不同来源加载文档）、文本分割（把文档切分为指定大小的块）、存储（将切分好的文档块进行嵌入转换成向量的形式，并将向量数据存储到向量数据库）、检索（通过某种检索算法找到与输入问题相似的嵌入片）以及输出（把问题以及检索出来的嵌入片一起提交给 LLM，LLM 会通过问题和检索出来的提示一起生成更加合理的答案）。
2025-03-25
扣子工作流与用户界面搭建
以下是关于扣子工作流与用户界面搭建的相关内容： 一、工作流搭建 1. 进入扣子（coze.cn），选中「创建应用」，再选中「创建空白应用」，输入「应用名称」进入项目搭建页面。 2. 新增一个工作流，工作流名称叫做 psy_ai。 3. 该项目的业务逻辑是通过上传儿童的绘画作品分析心理状态，分析过程分为多个步骤实现，工作流的编排流程图为：上传作品>多个多模态大模型识别不同元素>分别提取特种并分析>综合分析结果>给出评估与建议。 4. 工作流从左到右分为三组大模型： 第一组多模态大模型主要作用是分析图片元素：整体特征、房屋特征、树木特征、人物特征。 第二组通用大模型主要是对提取到的信息进行对应内容的总结分析。 第三组通用大模型先汇总结果，然后再分别提取不同（诊断评估与建议）的结果。 5. 所有大模型节点对应的 prompt（提示词）：文档地址：https://vcn5grhrq8y0.feishu.cn/wiki/Z3NzwrtEKi9h5mk0rTOcAT0xnTc 二、用户界面搭建 1. 选择「桌面网页」类型。 2. 以《小喵星座日历》扣子网页应用为例： 板块 1：输入个人信息和生成图片，包含 2 个选项、1 个按钮、分割图、1 个输入框、1 个按钮。点击生成按钮会触发事件，调用日历生成工作流，生成中时生成按钮禁用，用 loading 按钮展示动态变化。 板块 2：生成星座日历图片，新建一个容器，包含一个文本组件、一个列表组件。 板块 3：查看星座生成记录，新建一个容器，包含一个按钮组件、一个列表组件，点击按钮调用读取生成历史的工作流，列表绑定生成历史工作流的输出结果。 板块 4：查看示例，新建一个容器，包含一个文本组件、4 个图片组件。 三、功能页相关配置 1. {{ImageUpload1.value}}用于获取图片上传组件的第一张图片。 2. {{psy_ai.error}}是工作流的报错信息。 3. 当用户上传图片点击按钮时会进入在家中的状态，右边内容显示容器里有两个组件： 图片组件显示加载中的 gif 图片（默认隐藏），图片来源本地上传加载中 gif 图，尺寸宽度为百分比 100%，高度适应内容，可见性根据{{!psy_ai.loading}}控制，工作流运行中显示。 Markdown 组件显示分析内容，隐藏根据{{psy_ai.loading}}，工作流运行完显示。 至此，页面所有的布局和数据交互全部完成。
2025-03-25
我想搭建个人rag知识库，实现本地化部署，可以调用本地大模型去分析知识库的内容进行解答
以下是搭建个人 rag 知识库并实现本地化部署，调用本地大模型分析知识库内容进行解答的详细步骤： 一、通过 Open WebUI 使用大模型 1. 访问相关网址，使用邮箱注册账号。 2. 登陆成功后，Open WebUI 一般有两种使用方式，包括聊天对话和 RAG 能力（让模型根据文档内容回答问题，这是构建知识库的基础之一）。 3. 如果要求不高，此时已搭建本地大模型，并通过 Web UI 实现与大模型对话。ChatGPT 访问速度快且回答效果好的原因在于其服务器配置高、训练参数多、数据更优及训练算法更好。 二、本地知识库进阶 1. 若要更灵活掌控知识库，需使用额外软件 AnythingLLM，其包含 Open WebUI 的所有能力，并额外支持选择文本嵌入模型和向量数据库。 2. 安装地址：https://useanything.com/download 。安装完成后进入配置页面，主要分为三步：选择大模型、选择文本嵌入模型、选择向量数据库。 3. 在 AnythingLLM 中有 Workspace 的概念，可创建独有 Workspace 与其他项目数据隔离。首先创建工作空间，然后上传文档并在工作空间中进行文本嵌入，选择对话模式（包括 Chat 模式和 Query 模式），最后进行测试对话。 三、RAG 是什么 利用大模型搭建知识库是 RAG 技术的应用。在进行本地知识库搭建实操前，需对 RAG 有大概了解。RAG 应用可抽象为 5 个过程： 1. 文档加载：从多种来源加载文档，LangChain 提供 100 多种不同的文档加载器，包括非结构化、结构化数据及代码等。 2. 文本分割：文本分割器把 Documents 切分为指定大小的块，称为“文档块”或“文档片”。 3. 存储：涉及将切分好的文档块嵌入转换成向量形式，并将向量数据存储到向量数据库。 4. 检索：通过检索算法找到与输入问题相似的嵌入片。 5. 输出：把问题及检索出来的嵌入片一起提交给 LLM，LLM 会通过问题和检索出来的提示生成更合理的答案。 文本加载器是将用户提供的文本加载到内存中，便于后续处理。
2025-03-25
怎么搭建coze工作流
搭建 Coze 工作流的步骤如下： 1. 进入 Coze，点击「个人空间 工作流 创建工作流」，打开创建工作流的弹窗。 2. 根据弹窗要求，自定义工作流信息，点击确认后完成工作流的新建。 3. 在编辑面板中拖入对应的节点，包括： 插件：提供一系列能力工具，拓展 Agent 的能力边界。 大模型：调用 LLM，实现各项文本内容的生成。 代码：支持编写简单的 Python、JS 脚本，对数据进行处理。 开始节点、结束节点：分别对应子任务流程图中的原文输入和结果输出环节。 4. 按照流程图和具体需求，拖入相应的节点完成工作流框架的搭建。 例如： 在创建工作流时，配置工作流基础信息，拖入“HTTP 请求”节点，并根据接口文档设置请求方式、接口地址和请求参数。 对于返回的 JSON 数据，可通过“代码节点”进行数据格式转换。 若要将新闻数据放入飞书多维表格，需在飞书中新建多维表格并创建相关字段，然后在 Coze 工作流中拖入“飞书多维表格”节点进行链接和设置。 另外，在搭建如分析儿童绘画作品心理状态的公益应用时，先新增工作流并命名，根据具体业务逻辑编排流程图，如上传作品 多个多模态大模型识别不同元素 分别提取特征并分析 综合分析结果 给出评估与建议，然后从左到右分组拆解多模态大模型的作用，搭建完工作流后可进行“用户界面”的搭建，选择“桌面网页”类型。相关的 prompt（提示词）文档地址：https://vcn5grhrq8y0.feishu.cn/wiki/Z3NzwrtEKi9h5mk0rTOcAT0xnTc
2025-03-25
AI 分为哪些层？如：语料，大模型
AI 可以分为以下几个层面： 1. 概念层面： AI 即人工智能。 生成式 AI 生成的内容称为 AIGC。 2. 学习方式层面： 机器学习，包括监督学习（有标签的训练数据，算法目标是学习输入和输出之间的映射关系，包括分类和回归）、无监督学习（学习的数据没有标签，算法自主发现规律，经典任务如聚类）、强化学习（从反馈里学习，最大化奖励或最小化损失，类似训小狗）。 3. 技术方法层面： 深度学习，参照人脑有神经网络和神经元（因有很多层所以叫深度），神经网络可用于监督学习、无监督学习、强化学习。 生成式 AI 可以生成文本、图片、音频、视频等内容形式。 LLM 即大语言模型，对于生成式 AI，生成图像的扩散模型不是大语言模型；对于大语言模型，生成只是其中一个处理任务，如谷歌的 BERT 模型可用于语义理解（不擅长文本生成），像上下文理解、情感分析、文本分类。 4. 技术里程碑层面：2017 年 6 月，谷歌团队发表论文《Attention is All You Need》，首次提出了 Transformer 模型，它完全基于自注意力机制（SelfAttention）来处理序列数据，无需依赖循环神经网络（RNN）或卷积神经网络（CNN）。
2025-03-30
如何利用AI大模型 撰写政研文章
利用 AI 大模型撰写政研文章可以参考以下方法： 一、了解大模型的热门应用场景 大模型因其强大的语言理解和生成能力，在多个领域有出色表现，以下是一些热门应用场景： 1. 文本生成和内容创作：可用于撰写文章、生成新闻报道、创作诗歌和故事等。 2. 聊天机器人和虚拟助手：能开发与人类自然对话的工具，提供客户服务、日常任务提醒和信息咨询等服务。 3. 编程和代码辅助：实现代码自动补全、bug 修复和代码解释，提高编程效率。 4. 翻译和跨语言通信：理解和翻译多种语言，促进不同语言背景用户的沟通和信息共享。 5. 情感分析和意见挖掘：分析社交媒体、评论和反馈中的文本，识别用户情感和观点，为市场研究和产品改进提供数据支持。 6. 教育和学习辅助：创建个性化学习材料、自动回答学生问题和提供语言学习支持。 7. 图像和视频生成：如 DALLE 等模型可根据文本描述生成相应图像，未来可能扩展到视频内容生成。 8. 游戏开发和互动体验：用于创建游戏角色对话、故事情节生成和增强玩家沉浸式体验。 9. 医疗和健康咨询：理解和回答医疗相关问题，提供初步健康建议和医疗信息查询服务。 10. 法律和合规咨询：帮助解读法律文件，提供合规建议，降低法律服务门槛。 需要注意的是，随着技术进步和模型优化，大模型未来可能拓展到更多领域，同时也要注意其在隐私、安全和伦理方面的挑战。 二、利用 AI 辅助写作政研文章的步骤和建议 1. 确定课题主题：明确研究兴趣和目标，选择具有研究价值和创新性的主题。 2. 收集背景资料：使用 AI 工具如学术搜索引擎和文献管理软件搜集相关研究文献和资料。 3. 分析和总结信息：利用 AI 文本分析工具提取关键信息和主要观点。 4. 生成大纲：使用 AI 写作助手生成政研文章的大纲，包括引言、文献综述、方法论、结果和讨论等部分。 5. 撰写文献综述：借助 AI 工具确保内容准确完整。 6. 构建方法论：根据研究需求，利用 AI 建议的方法和技术设计研究方法。 7. 数据分析：若涉及数据收集和分析，使用 AI 数据分析工具处理和解释数据。 8. 撰写和编辑：利用 AI 写作工具撰写文章各部分，并检查语法和风格。 9. 生成参考文献：使用 AI 文献管理工具生成正确的参考文献格式。 10. 审阅和修改：利用 AI 审阅工具检查文章的逻辑性和一致性，并根据反馈修改。 11. 提交前的检查：使用 AI 抄袭检测工具确保文章的原创性，并进行最后的格式调整。 请记住，AI 工具只是辅助，不能完全替代研究者的专业判断和创造性思维。在使用时应保持批判性思维，确保研究质量和学术诚信。 三、Flowith 模型的优势 Flowith 模型具有以下优势： 1. 充分利用已有知识：可快速检索高质量的“存量知识”，将分散内容重新提炼、整合并利用，避免重复劳动。 2. 提高回答的准确性和完整度：基于检索与引用的方法，通过引用已有文章的论证、数据或实例，为回答提供更扎实依据，使观点更系统、逻辑更完整。 3. 节省时间，提升效率：面临类似或相关问题时，无需从头构思或反复写作，AI 大模型利用已有输出内容提供启发，减少精神内耗，避免拖延。 4. 方便追溯与验证：所有信息来自已发布文章，读者可查看完整上下文，保证回答的透明度和可信度，也为已发布文章提供二次曝光机会。
2025-03-29
图像识别模型
图像识别模型通常包括编码器和解码器部分。以创建图像描述模型为例： 编码器：如使用 inception resnet V2 应用于图像数据，且大部分情况下会冻结此 CNN 的大部分部分，因为其骨干通常是预训练的，例如通过庞大的数据集如图像网络数据集进行预训练。若想再次微调训练也是可行的，但有时仅需保留预训练的权重。 解码器：较为复杂，包含很多关于注意力层的说明，还包括嵌入层、GRU 层、注意力层、添加层归一化层和最终的密集层等。 在定义好解码器和编码器后，创建最终的 TF Keras 模型并定义输入和输出。模型输入通常包括图像输入进入编码器，文字输入进入解码器，输出则为解码器输出。在运行训练前，还需定义损失功能。 另外，还有一些相关模型的安装配置，如 siglipso400mpatch14384（视觉模型），由 Google 开发，负责理解和编码图像内容，其工作流程包括接收输入图像、分析图像的视觉内容并将其编码成特征向量。image_adapter.pt（适配器）连接视觉模型和语言模型，优化数据转换。MetaLlama3.18Bbnb4bit（语言模型）负责生成文本描述。
2025-03-28
大模型公司的数据训练成本目前大概是多少
目前，AI 大模型的训练成本较高。在数据、算力、算法三要素中，算力是基础也是大模型竞争力，但国产芯片在软件适配度、稳定性方面存在不足。大部分采用智能计算中心、自费买英伟达 A800/H800 显卡组成服务器运行、或者用价格更为实惠的服务器云来训练，成本最高的部分是前期的模型训练。 千亿参数模型的报价高达数十万元，由于训练成本高、数据筛选难度大，高昂的售价让很多客户望而却步。在预训练阶段，从互联网上获取大量文本并处理，需要 GPU 集群，通常需要数百万美元的成本。 开源模型可以由任何人托管，包括不承担大模型训练成本（高达数千万或数亿美元）的外部公司。闭源模型能否长久保持优势还是未知数。
2025-03-28
阿里集团投资了哪几个大模型公司
阿里投资的大模型公司主要有月之暗面和 MiniMax 。 去年底，阿里开始密切接触当时大模型公司中排位相对靠后的月之暗面，并在 2024 年春节前谈定投资，大手笔投资近 8 亿美元，持股比例约 40%，月之暗面投后估值来到 23.4 亿美元。 此外，阿里在今年初投资了 MiniMax 约 6 亿美元。
2025-03-28
minimax的大模型算法热点
以下是关于 MiniMax 的大模型算法热点的相关内容： 1. MiniMax 有两个适合特定任务的大模型：MiniMaxText01 支持 400 万 token 的上下文，能应对超长文章；T2A v2（speech01turbo）拥有最好的声音复刻效果。可以通过其开放平台（https://platform.minimaxi.com/login ）进行注册登录及实名认证。首次注册会赠送 15 元，API 消耗会消耗余额，生成一条 3 分钟的语音，文本模型消耗 1 分钱，语音模型消耗 5 毛钱，克隆音色有额外费用，现优惠 9.9 元。接着创建 API Key 并保存好，以及 groupid。还可以克隆声音，相关链接为 https://platform.minimaxi.com/examinationcenter/voiceexperiencecenter/voiceCloning ，有创建 voice id、上传复刻音频及音频 prompt、试听文本等操作，勾选用户协议点击“克隆”选项一段时间后完成克隆，使用填写的 voice id 生成声音。 2. MiniMax 推出了 MoE 架构的新模型，其“星野”是目前国内最成功的 AI 陪聊 APP。 3. MiniMax 近日发布新模型 MiniMax01，采用线性注意力机制和 MoE 架构，显著提升上下文处理能力，支持超长上下文（400 万 Token），在多项学术基准上表现优异，超越许多国际顶尖模型。其开源旨在促进长上下文研究和应用，加速 Agent 时代的到来，通过精细架构设计和训练策略，在处理长输入时实现接近线性的计算效率。
2025-03-28