Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

如何部署私有大语言模型？

Answer

部署私有大语言模型通常包括以下步骤：

  1. 部署大语言模型：
    • 下载并安装 Ollama：根据您的电脑系统，从 https://ollama.com/download 下载 Ollama。下载完成后，双击打开，点击“Install”。安装完成后，将下方地址复制进浏览器中。如果出现下方字样，表示安装完成：http://127.0.0.1:11434/。
    • 下载模型：如 qwen2:0.5b 模型（0.5b 是为了方便测试，下载快，自己设备充足的话，可以下载更大的模型）。如果是 Windows 电脑，点击 win+R，输入 cmd，点击回车；如果是 Mac 电脑，按下 Command（⌘）+Space 键打开 Spotlight 搜索，输入“Terminal”或“终端”，然后从搜索结果中选择“终端”应用程序。复制相关命令行，粘贴进入，点击回车。等待下载完成。
  2. 部署 Google Gemma：
    • 进入 ollama.com，下载程序并安装（支持 windows，linux 和 macos）。
    • 查找 cmd 进入命令提示符，输入 ollama -v 检查版本，安装完成后版本应该显示 0.1.26，cls 清空屏幕。
    • 直接输入 ollama run gemma 运行模型（默认是 2b），首次需要下载，需要等待一段时间，如果想用 7b，运行 ollama run gemma:7b 。完成以后就可以直接对话。
  3. 关于 Ollama 的其他特点：
    • 支持多种大型语言模型，包括通义千问、Llama 2、Mistral 和 Gemma 等，适用于不同应用场景。
    • 易于使用，适用于 macOS、Windows 和 Linux 系统，同时支持 cpu 和 gpu。
    • 提供模型库，用户可从中下载不同模型，满足不同需求和硬件条件。模型库可通过 https://ollama.com/library 查找。
    • 支持自定义模型，可修改模型的温度参数等。
    • 提供 REST API，用于运行和管理模型，以及与其他应用程序的集成选项。
    • 社区贡献丰富，包括多种集成插件和界面。

总的来说，Ollama 是一个方便用户在本地运行和管理大型语言模型的框架，具有良好的可扩展性和多样的使用场景。安装完之后，确保 ollama 后台服务已启动（在 mac 上启动 ollama 应用程序即可，在 linux 上可以通过 ollama serve 启动）。可以通过 ollama list 进行确认。

Content generated by AI large model, please carefully verify (powered by aily)

References

张梦飞：【全网最细】从LLM大语言模型、知识库到微信机器人的全本地部署教程

我们需要进行部署的有三大部分1、本地部署大语言模型2、本地部署FastGPT+OneAPI3、本地部署HOOK项目或COW[heading1]一、部署大语言模型[content]一、下载并安装Ollama1、点击进入，根据你的电脑系统，下载Ollama：https://ollama.com/download2、下载完成后，双击打开，点击“Install”3、安装完成后，将下方地址复制进浏览器中。如果出现下方字样，表示安装完成http://127.0.0.1:11434/二、下载qwen2:0.5b模型（0.5b是为了方便测试，下载快，自己设备充足的话，可以下载更大的模型）1、如果你是windows电脑，点击win+R输入cmd，点击回车如果你是Mac电脑，按下Command（⌘）+Space键打开Spotlight搜索。输入“Terminal”或“终端”，然后从搜索结果中选择“终端”应用程序。2、复制以下命令行，粘贴进入，点击回车：3、回车后，会开始自动下载，等待完成（这里下载久了，可能会发现卡着不动，不知道下载了多少了。鼠标点击一下窗口，键盘点空格，就会刷新了）4、下载完成后你会发现，大模型已经在本地运行了。输入文本即可进行对话。

[应用实例] 本地部署Google Gemma

作者：吵爷Google刚刚发布了家用版的小模型Gemma，分别为2b（20亿参数）和7b（70亿参数）版本。相对千亿参数的大模型，这种小模型可能不适合解决特别复杂的任务，但是从趋势上看应该是模型本地化提升基础操作效率的模板。类似之前国内发布的ChatGLM-6B。现在的部署环境比一年前要友好多了，首先提一下Ollama，Ollama是一个开源的大型语言模型服务，可以非常方便地部署最新版本的GPT模型并通过接口使用，支持热加载模型文件,无需重新启动即可切换不同的模型。除了Gemma，像小型的llama也支持本地部署。环境准备首先进入ollama.com，下载程序并安装（支持windows，linux和macos）查找cmd进入命令提示符，输入ollama-v检查版本，安装完成后版本应该显示0.1.26cls清空屏幕，接下来直接输入ollama run gemma运行模型（默认是2b），首次需要下载，需要等待一段时间，如果想用7b，运行ollama run gemma:7b完成以后就可以直接对话了，2个模型都安装以后，可以重复上面的指令切换。2b的反应速度非常快，但是能够互动的话题有限。7b我也试了下，能跑是能跑（我是3050显卡），但是会有明显的卡顿，输出内容的质量相对会高不少，但无论2b还是7b，对非英文语种的反馈都不是很稳定。2b测试7b测试另外模型里一些常用的内部指令/set显示设置界面可调整的设置项/show显示模型信息/load<model>加载一个已有模型/bye退出

本地部署资讯问答机器人：Langchain+Ollama+RSSHub 实现 RAG

1.支持多种大型语言模型：Ollama支持包括通义千问、Llama 2、Mistral和Gemma等在内的多种大型语言模型，这些模型可用于不同的应用场景。2.易于使用：Ollama旨在使用户能够轻松地在本地环境中启动和运行大模型，适用于macOS、Windows和Linux系统，同时支持cpu和gpu。3.模型库：Ollama提供了一个模型库，用户可以从中下载不同的模型。这些模型有不同的参数和大小，以满足不同的需求和硬件条件。Ollama支持的模型库可以通过https://ollama.com/library进行查找。4.自定义模型：用户可以通过简单的步骤自定义模型，例如修改模型的温度参数来调整创造性和连贯性，或者设置特定的系统消息。5.API和集成：Ollama还提供了REST API，用于运行和管理模型，以及与其他应用程序的集成选项。6.社区贡献：Ollama社区贡献丰富，包括多种集成插件和界面，如Web和桌面应用、Telegram机器人、Obsidian插件等。7.总的来说，Ollama是一个为了方便用户在本地运行和管理大型语言模型而设计的框架，具有良好的可扩展性和多样的使用场景。后面在捏Bot的过程中需要使用Ollama，我们需要先安装，访问以下链接进行下载安装。https://ollama.com/download/安装完之后，确保ollama后台服务已启动（在mac上启动ollama应用程序即可，在linux上可以通过ollama serve启动）。我们可以通过ollama list进行确认，当我们还没下载模型的时候，正常会显示空：可以通过ollama命令下载模型，目前，我下载了4个模型：几个模型简介如下:

Others are asking
用于训练销售助手类型业务的私有模型
以下是关于训练销售助手类型业务私有模型的相关信息： 1. 提示词方面：设计了一套模拟江南皮革厂销售的拟人化提示词模板，并将其应用于国内的豆包角色扮演模型，生成吸引人的广告词。若与语音技术结合用于宣传，能创造出有趣且有效的销售助手，吸引顾客注意。拟人化提示词母体可通过关注作者微信领取。 2. 增加私有知识方面：通过前面步骤拥有可与客户对话的 AI 助手后，若想让其像公司员工一样精准专业回答商品相关问题，需为大模型应用配置知识库。例如在售卖智能手机的公司，网站上有很多相关信息，不同机型的详细配置清单可参考相关文档。
2025-01-07
dify私有化部署
以下是关于 Dify 私有化部署的相关信息： 1. 部署步骤： 通过云服务器进行部署，相关命令在宝塔面板的终端安装，例如在/root/dify/docker 目录下的 dockercompose 文件。 检查运行情况，若 nginx 容器无法运行，可能是 80 端口被占用，可将终端输出的代码粘贴给 AI 以解决。 在浏览器地址栏输入公网 IP（去掉宝塔面板地址栏后的:8888），随便填写邮箱密码建立知识库并进行设置。 2. 模型选择与配置： 可以选择国内有免费额度的模型，如智谱 AI。 以智谱 AI 为例，在其官网用手机号注册，添加 API keys 并查看免费额度，将钥匙复制保存。 随便创建应用，可先选择智谱 glm4 测试，然后点发布。 创建并复制 api 秘钥。 3. Dify 特点： 作为开源应用，易用性出色且功能强大，安装过程简单快捷，熟练用户约 5 分钟可在本地完成部署。 支持本地部署和云端应用，能应对工作流、智能体、知识库等。 本地部署需自行处理模型接入等问题，包括购买 API、接入不同类型模型，构建个人知识库时还需考虑数据量、嵌入质量和 API 费用等因素。
2024-09-20
部署私有大模型需要什么显卡
部署私有大模型对显卡的要求如下： 显存是显卡选择的第一要素，生成速度优先级相对较低。 SD1.5 版本的底模 6G 显存能勉强跑，8G 显存可较流畅生成图片和炼制 lora，12G 能流畅使用 Dreambooth 微调大模型。 即将到来的 SDXL 对显卡性能要求更高，8G 显存起步，建议 16G 显存，微调大模型可能需要 20G 以上的显存，只有 4090 和 3090 能较好应对。 预算不足时，可选择 30 系显卡或二手显卡。但不建议选择 P40 之类超大显存但速度超级慢的卡。 常见显卡中，4090 生成 512 的图可跑进 1 秒内。 对于一些垂直场景的专有技能模型，极端情况下单机单卡，如消费级显卡 3090、3080、RTX 显卡也可以使用。 综合多方评测结论，4090 是用于 SD 图像生成综合性价比最高的显卡。如果有打算进行 Dream booth 微调大模型，硬盘空间要准备充足，一次训练可能会产生几十 G 的文件。同时，其他电脑配件只要不太差即可，内存建议 32GB 以上。硬盘方面，不建议考虑机械盘，可选择国产固态。
2024-09-08
私有化部署大模型的教材
以下是为您提供的私有化部署大模型的相关教材： 张梦飞：【全网最细】从 LLM 大语言模型、知识库到微信机器人的全本地部署教程 一、部署大语言模型 1. 下载并安装 Ollama 点击进入，根据您的电脑系统，下载 Ollama：https://ollama.com/download 下载完成后，双击打开，点击“Install” 安装完成后，将下方地址复制进浏览器中。如果出现下方字样，表示安装完成：http://127.0.0.1:11434/ 2. 下载 qwen2:0.5b 模型（0.5b 是为了方便测试，下载快，自己设备充足的话，可以下载更大的模型） 如果您是 windows 电脑，点击 win+R，输入 cmd，点击回车。 如果您是 Mac 电脑，按下 Command（⌘）+ Space 键打开 Spotlight 搜索，输入“Terminal”或“终端”，然后从搜索结果中选择“终端”应用程序。 复制以下命令行，粘贴进入，点击回车。 回车后，会开始自动下载，等待完成（这里下载久了，可能会发现卡着不动，不知道下载了多少了。鼠标点击一下窗口，键盘点空格，就会刷新了） 下载完成后您会发现，大模型已经在本地运行了。输入文本即可进行对话。 【SD】向未来而生，关于 SDXL 您要知道事儿 SDXL 的大模型分为两个部分： 1. 第一部分，base+refiner 是必须下载的，base 是基础模型，我们使用它进行文生图的操作；refiner 是精炼模型，我们使用它对文生图中生成的模型进行细化，生成细节更丰富的图片。 2. 第二部分，是 SDXL 还有一个配套的 VAE 模型，用于调节图片的画面效果和色彩。 这三个模型，您可以关注我的公众号【白马与少年】，然后回复【SDXL】获取下载链接。 想要在 webUI 中使用 SDXL 的大模型，首先我们要在秋叶启动器中将 webUI 的版本升级到 1.5 以上。接下来，将模型放入对应的文件夹中，base 和 refiner 放在“……\\sdwebuiakiv4.2\\models\\Stablediffusion”路径下；vae 放在“……\\sdwebuiakiv4.2\\models\\VAE”路径下。完成之后，我们启动 webUI，就可以在模型中看到 SDXL 的模型了。我们正常的使用方法是这样的：先在文生图中使用 base 模型，填写提示词和常规参数，尺寸可以设置为 10241024，进行生成。 基于多模态大模型给现实世界加一本说明书 大模型应用的利弊： 优点： 适应性极好，通过提示词工程，方便「适应各种奇葩需求」。 对算法的要求降低了不少，大部分功能由大模型提供，特别是非结构化信息的处理。 大模型的 API 访问方式简化了边缘设备的要求，无论在 Android、iOS、HarmonyOS或各种嵌入式设备上都能方便适配。「AGI 终将到来，拥抱未来，虽然路途艰难但相信方向是正确的。」 缺点： 大模型的推理时长目前仍是最大的障碍，传统目标检测或人脸识别优化后能达到 100~300ms，而大模型动则需要 10 秒的延时，限制了许多场景。 模型的幻象和错误率仍然较高，导致上述推理时长问题，在多链路的复杂应用中迅速变得不可行。 在大多数生产模式下，仍然需要使用云服务数据中心，提交的画面不可避免地涉及到隐私问题。 商业私有化部署是刚需，当下的开源模型离 GPT4 代差在半年以上，技术人员任重道远的。
2024-09-03
如何使用LLM分析企业的私有化数据，是否有工具推荐？
以下是关于使用 LLM 分析企业私有化数据及工具推荐的相关内容： RAG 加速器提供了数据抽取服务，这是基于 LLM 的解决方案。在利用 LLM 进行信息抽取时，需要了解构建抽取服务的基本组件和要点。 实现过程中，有两个简单但强大的思路可以提升性能： 1. 确保 LLM 以正确的格式回应。函数调用已成为确保 LLM 严格输出特定格式的新且相对靠谱的方法，可参考结构化输出文档，其中高层次的 LangChain API 展示了不同 LLM 如何调用工具和函数。 2. 使用参考样例。尽管没有样例也能设置抽取问题，但实际操作中，将输入和对应输出的样例纳入其中通常大有裨益，有时这些样例比指示本身更能有效指导 LLM 处理特定情况。在提取用例文档中，可以找到更多细节，助您从 LLMs 中提取更好的性能。
2024-09-02
如何将私有模型部署到微信
以下是将私有模型部署到微信的几种方法： 1. 张梦飞的方法： 部署大语言模型： 下载并安装 Ollama：根据您的电脑系统，从 https://ollama.com/download 下载，下载完成后双击打开，点击“Install”。安装完成后，将 http://127.0.0.1:11434/ 复制进浏览器，若出现相关字样则表示安装完成。 下载 qwen2:0.5b 模型（0.5b 是为了方便测试，下载快，自己设备充足的话，可以下载更大的模型）：如果是 Windows 电脑，点击 win+R，输入 cmd 点击回车；如果是 Mac 电脑，按下 Command（⌘）+ Space 键打开 Spotlight 搜索，输入“Terminal”或“终端”，然后从搜索结果中选择“终端”应用程序。复制相关命令行并粘贴回车，等待自动下载完成。 2. 安仔的方法： 配置腾讯云轻量应用服务器。 配置部署 COW 组件：配置 GROUP_NAME_WHITE_LIST 参数，根据要交互的群组进行具体修改，保存编排模板。切换到容器编排界面，基于模板进行 COW 服务部署，等待部署成功。 3. 马上观看看的方法： 部署 dify：选择模型，以智谱 ai 举例，点设置，点从智谱 ai 获取钥匙，进入智谱官网用手机号注册，添加 API keys 并复制，查看免费额度并收藏网址。回到之前页面复制钥匙并保存，随便创建应用，可先选择智谱 glm4 测试，点发布，点击 api 秘钥创建并复制。
2024-08-26
个人怎么在本地搭建AI大模型
个人在本地搭建 AI 大模型可以参考以下步骤： 1. 选择合适的部署方式：包括本地环境部署、云计算平台部署、分布式部署、模型压缩和量化、公共云服务商部署等，根据自身的资源、安全和性能需求进行选择。 2. 准备训练所需的数据和计算资源：确保有足够的训练数据覆盖目标应用场景，并准备足够的计算资源，如 GPU 服务器或云计算资源。 3. 选择合适的预训练模型作为基础：可以使用开源的预训练模型如 BERT、GPT 等，也可以自行训练一个基础模型。 4. 针对目标任务进行模型微调训练：根据具体应用场景对预训练模型进行微调训练，优化模型结构和训练过程以提高性能。 5. 部署和调试模型：将训练好的模型部署到生产环境，并对部署的模型进行在线调试和性能优化。 6. 注意安全性和隐私保护：大模型涉及大量数据和隐私信息，需要重视安全性和合规性。 如果想要对知识库进行更加灵活的掌控，可以使用 AnythingLLM 软件。其安装地址为：https://useanything.com/download 。安装完成后进入配置页面，主要分为三步： 1. 第一步：选择大模型。 2. 第二步：选择文本嵌入模型。 3. 第三步：选择向量数据库。 在 AnythingLLM 中，有一个 Workspace 的概念，可以创建自己独有的 Workspace 跟其他的项目数据进行隔离。具体操作包括： 1. 首先创建一个工作空间。 2. 上传文档并且在工作空间中进行文本嵌入。 3. 选择对话模式，AnythingLLM 提供了两种对话模式：Chat 模式（大模型会根据自己的训练数据和上传的文档数据综合给出答案）和 Query 模式（大模型仅仅会依靠文档中的数据给出答案）。 4. 测试对话。 本文的思路来源于视频号博主黄益贺，按照他的视频进行实操，并附加了一些关于 RAG 的额外知识。读完本文，您将学习到如何使用 Ollama 一键部署本地大模型，通过搭建本地的聊天工具，了解 ChatGPT 的信息流转，RAG 的概念以及所用到的一些核心技术，如何通过 AnythingLLM 这款软件搭建完全本地化的数据库。
2025-01-17
如何搭建个人AI大模型
搭建个人 AI 大模型主要包括以下步骤： 1. 选择合适的部署方式： 本地环境部署。 云计算平台部署。 分布式部署。 模型压缩和量化。 公共云服务商部署。需根据自身的资源、安全和性能需求进行选择。 2. 准备训练所需的数据和计算资源： 确保有足够的训练数据覆盖目标应用场景。 准备足够的计算资源，如 GPU 服务器或云计算资源。 3. 选择合适的预训练模型作为基础： 可以使用开源的预训练模型如 BERT、GPT 等。 也可以自行训练一个基础模型。 4. 针对目标任务进行模型微调训练： 根据具体应用场景对预训练模型进行微调训练。 优化模型结构和训练过程以提高性能。 5. 部署和调试模型： 将训练好的模型部署到生产环境。 对部署的模型进行在线调试和性能优化。 6. 注意安全性和隐私保护： 大模型涉及大量数据和隐私信息，需要重视安全性和合规性。 此外，还有一种全程白嫖搭建拥有一个 AI 大模型的微信助手的方法： 1. 搭建，用于汇聚整合多种大模型接口，并了解如何白嫖大模型接口。 2. 搭建，这是一个知识库问答系统，将知识文件放入，并接入上面的大模型作为分析知识库的大脑，若不想接入微信，搭建到此即可，其本身有问答界面。 3. 搭建。 大模型的构建过程包括： 1. 收集海量数据：如同让孩子阅读大量书籍等，研究人员会收集互联网上的文章、书籍、维基百科条目、社交媒体帖子等各种文本数据。 2. 预处理数据：如同为孩子整理资料，研究人员需要清理和组织收集到的数据，如删除垃圾信息、纠正拼写错误、将文本分割成易于处理的片段。 3. 设计模型架构：如同为孩子设计学习计划，研究人员需要设计 AI 模型的“大脑”结构，通常是一个复杂的神经网络，如 Transformer 架构。 4. 训练模型：如同孩子开始阅读和学习，AI 模型开始“阅读”提供的数据，通过反复尝试预测句子中的下一个词等方式，逐渐学会理解和生成人类语言。
2025-01-17
知识模型对个人有什么用
知识模型对个人具有以下作用： 1. 扩展记忆与智力：OpenAI 的首席科学家伊尔亚·苏茨克维认为，高效压缩信息即得到知识，而 GPT3 及 GPT4 等模型虽通过预测下一个单词进行工作，但已包含世界信息且能持续提高能力。 2. 构建个人知识库：虽然个人搭建本地知识库可能面临机器配置要求较高的问题，如运行大模型需要较高的硬件配置，如生成文字大模型的最低配置为 8G RAM + 4G VRAM，建议配置为 16G RAM + 8G VRAM，理想配置为 32G RAM + 24G VRAM（若要跑 GPT3.5 差不多性能的大模型）；生成图片大模型的最低配置为 16G RAM + 4G VRAM，建议配置为 32G RAM + 12G VRAM；生成音频大模型的最低配置为 8G VRAM 等。但实操可以加深对大模型构建的知识库底层原理的了解。 3. 形成外脑（ExoBrain）：利用软件工具和大语言模型相关技术扩展记忆和智力的新机制或系统，被称为外脑。语言模型是心智界面，如 ChatGPT 等，除用储备的知识库响应问题外，还能理解复杂文档、生成想法甚至驱动其他软件完成任务，如同心灵副驾，通过自然语言输入和输出实现快速理解、记忆唤起、想法连接和驱动外部软件自动工作。
2025-01-17
Claude大模型背后是什么公司
Claude 大模型背后的公司是 Anthropic。Claude 系列在前段时间推出了 Claude3.5Sonnet 等模型，并且在代码生成等方面表现出色。同时，Anthropic 公司的 Claude 还具有较大的上下文窗口等特点。
2025-01-17
是什么大模型
大模型通俗来讲，是输入大量语料，让计算机获得类似人类的“思考”能力，从而能够理解自然语言，并进行文本生成、推理问答、对话、文档摘要等工作。 大模型的训练和使用过程可以用“上学参加工作”来类比： 1. 找学校：训练大模型需要大量计算，GPU 更合适，只有购买得起大量 GPU 的才有资本训练自己的大模型。 2. 确定教材：大模型需要的数据量特别多，几千亿序列（Token）的输入基本是标配。 3. 找老师：即用合适的算法讲述“书本”中的内容，让大模型更好理解 Token 之间的关系。 4. 就业指导：为了让大模型更好胜任某一行业，需要进行微调（fine tuning）指导。 5. 搬砖：就业指导完成后，正式干活，比如进行翻译、问答等，在大模型里称之为推导（infer）。 在 LLM 中，Token 被视为模型处理和生成的文本单位，可代表单个字符、单词、子单词等。Token 会被数字化形成词汇表，便于计算机处理。为让计算机理解 Token 之间的联系，还需把 Token 表示成稠密矩阵向量，这个过程称为 embedding，常见算法有基于统计的 Word2Vec、GloVe，基于深度网络的 CNN、RNN/LSTM，基于神经网络的 BERT、Doc2Vec 等。以 Transform 为代表的大模型采用自注意力（Selfattention）机制来学习不同 token 之间的依赖关系，生成高质量 embedding。 大模型的“大”指用于表达 token 之间关系的参数多，主要是模型中的权重（weight）与偏置（bias），例如 GPT3 拥有 1750 亿参数。 从原理角度，传统机器学习是 p，但这个通用模型未经人工标注，什么都能学会。给出的 Prompt 其实就是 x，让大模型基于 x 知道概率最大的 y，避免人工标注，但依赖 x 给入的信息，更大概率找到合适的 y。比如给一张照片，输入这是一个动物，这是什么，大模型根据输入提取照片特征和提示，最终返回猫。
2025-01-17
可以改变视频人物说话内容 的模型
以下是一些可以改变视频人物说话内容的模型及相关信息： 解梦新出的 p 模型支持人物多动作和变焦，易改变画风；s 模型生成速度快、积分消耗少，能保持原始画风但语义理解有限。 吉梦的对口型技术支持文本朗诵和本地配音，能根据输入生成人物开口讲话的视频，但有上传人物长相等限制。 Runway 的 GN3 模型支持上传视频并转换风格，可用于实现多元宇宙等风格穿梭的片子，也能将简单场景转换为难以拍摄的场景。 在角色生视频方面： 角色生视频突破关键帧限制，不再依赖关键帧输入，而是直接传入角色本身，可更灵活生成视频。 支持多角色参考生成创意视频，可上传多张图，最多三张，将人物、衣服、背景等元素融合生成视频。 不同工具的角色生视频效果有所不同，如 Runway 的 x one 在身体、头部、眼神动态上表现更好。 角色生视频的应用场景包括规避机器人念台词的尴尬瞬间，让机器人有更丰富的表情和神态。未来视频生成将摆脱纯关键帧方式，采用多模态信息输入，如定义角色和场景的三视图等。 此外，谷歌 Gemini 模型在处理视频相关问题时，可通过修改提示来改变模型的行为。
2025-01-16
如何部署自己的知识库
以下是部署自己知识库的详细步骤： 一、了解 RAG 技术 因为利用大模型的能力搭建知识库本身就是一个 RAG 技术的应用。在进行本地知识库的搭建实操之前，需要先对 RAG 有大概的了解。 RAG 是指检索增强生成（Retrieval Augmented Generation）。当需要依靠不包含在大模型训练集中的数据时，通过检索外部数据，然后在生成步骤中将这些数据传递给 LLM。一个 RAG 的应用可抽象为 5 个过程： 1. 文档加载（Document Loading）：从多种不同来源加载文档，LangChain 提供了 100 多种不同的文档加载器，包括 PDF 在内的非结构化的数据、SQL 在内的结构化的数据，以及 Python、Java 之类的代码等。 2. 文本分割（Splitting）：文本分割器把 Documents 切分为指定大小的块，称为“文档块”或者“文档片”。 3. 存储：涉及两个环节，分别是将切分好的文档块进行嵌入（Embedding）转换成向量的形式，以及将 Embedding 后的向量数据存储到向量数据库。 4. 检索：通过某种检索算法找到与输入问题相似的嵌入片。 5. Output（输出）：把问题以及检索出来的嵌入片一起提交给 LLM，LLM 会通过问题和检索出来的提示一起来生成更加合理的答案。 二、通过 Open WebUI 使用大模型 1. 首先访问相关网址。打开页面时，使用任意邮箱注册账号。 2. 登陆成功后，Open WebUI 一般有两种使用方式，第一种是聊天对话，第二种是 RAG 能力，可让模型根据文档内容来回答问题，这种能力是构建知识库的基础之一。 三、本地知识库进阶 如果想要对知识库进行更加灵活的掌控，需要一个额外的软件：AnythingLLM。这个软件包含了所有 Open WebUI 的能力，并且额外支持了以下能力：选择文本嵌入模型、选择向量数据库。 安装地址：https://useanything.com/download 。安装完成后，会进入到其配置页面，主要分为三步： 1. 第一步：选择大模型。 2. 第二步：选择文本嵌入模型。 3. 第三步：选择向量数据库。 构建本地知识库： 1. 在 AnythingLLM 中有一个 Workspace 的概念，可以创建自己独有的 Workspace 跟其他的项目数据进行隔离。 2. 首先创建一个工作空间。 3. 上传文档并且在工作空间中进行文本嵌入。 4. 选择对话模式。AnythingLLM 提供了两种对话模式：Chat 模式，大模型会根据自己的训练数据和上传的文档数据综合给出答案；Query 模式，大模型仅仅会依靠文档中的数据给出答案。 5. 测试对话。当上述配置完成之后，就可以跟大模型进行对话了。 四、写在最后 “看十遍不如实操一遍，实操十遍不如分享一遍”。如果对 AI Agent 技术感兴趣，可以联系作者或者加其免费知识星球（备注 AGI 知识库）。
2025-01-17
如何部署ollama
以下是部署 Ollama 的详细步骤： 1. 下载并安装 Ollama： 根据您的电脑系统，点击进入 https://ollama.com/download 下载 Ollama。 下载完成后，双击打开，点击“Install”。 安装完成后，将下方地址复制进浏览器中。如果出现下方字样，表示安装完成：http://127.0.0.1:11434/ 2. 下载 qwen2:0.5b 模型（0.5b 是为了方便测试，下载快，自己设备充足的话，可以下载更大的模型）： 如果是 Windows 电脑，点击 win+R，输入 cmd，点击回车。 如果是 Mac 电脑，按下 Command（⌘）+Space 键打开 Spotlight 搜索，输入“Terminal”或“终端”，然后从搜索结果中选择“终端”应用程序。 复制以下命令行，粘贴进入，点击回车。 回车后，会开始自动下载，等待完成。（这里下载久了，可能会发现卡着不动，不知道下载了多少了。鼠标点击一下窗口，键盘点空格，就会刷新了） 下载完成后您会发现，大模型已经在本地运行了。输入文本即可进行对话。 3. 部署 Google Gemma： 首先进入 ollama.com，下载程序并安装（支持 windows，linux 和 macos）。 查找 cmd 进入命令提示符，输入 ollama v 检查版本，安装完成后版本应该显示 0.1.26，cls 清空屏幕，接下来直接输入 ollama run gemma 运行模型（默认是 2b），首次需要下载，需要等待一段时间，如果想用 7b，运行 ollama run gemma:7b 。 完成以后就可以直接对话了，2 个模型都安装以后，可以重复上面的指令切换。 4. 安装 Docker Desktop： 点击/复制到浏览器去下载 https://docs.docker.com/desktop/install/windowsinstall/ 。 下载后，双击下载项目，出现下图，点击 ok，开始加载文件。注意！！！！这里下载相对比较快，下载完成后，不要点击“close and restart”，因为这样会直接重启，导致 llama3 下载中断。 这里先不点击，等待终端的模型下载完成后，再点击重启。 重启后，点击：“Accept” 。 选择第一个，点击"Finish" 。 然后会提示您注册账号，如果打不开网页，就需要科学上网了。 按照正常的注册流程，注册账号，并登录 Docker 即可。登录后会进入 Docker Desktop。此处完成。 5. 下载 Open WebUI： 回到桌面，再打开一个新的终端窗口（可以放心多个窗口，不会互相影响）。 如果是 Windows 电脑，点击 win+R，输入 cmd，点击回车。 如果是 Mac 电脑，按下 Command（⌘）+Space 键打开 Spotlight 搜索，输入“Terminal”或“终端”，然后从搜索结果中选择“终端”应用程序。 将以下命令输入，等待下载。 出现上图，即是下载完成。 点击或复制下方地址进入浏览器：http://localhost:3000/auth/ 。 点击进行注册即可，注册输入昵称、邮箱、密码。注册完即可登录进入。 登入后，看到如下页面，点击顶部的 Model，选择“llama3:8b”。 完成。您已经拥有了一个属于自己的本地大语言模型。可以开始与他对话啦！ps.他的回复速度，取决于您的电脑配置。
2025-01-13
可以本地部署的类似coze一样的平台
以下是一些可以本地部署且类似 Coze 的平台以及直接对接 Coze 平台 Bot 的微信聊天机器人的搭建方法： Agent 构建平台： 1. Coze：新一代一站式 AI Bot 开发平台，集成丰富插件工具，适用于构建各类问答 Bot。 2. Mircosoft 的 Copilot Studio：主要功能包括外挂数据、定义流程、调用 API 和操作，以及将 Copilot 部署到各种渠道。 3. 文心智能体：百度推出的基于文心大模型的智能体平台，支持开发者根据需求打造产品能力。 4. MindOS 的 Agent 平台：允许用户定义 Agent 的个性、动机、知识，以及访问第三方数据和服务或执行工作流。 5. 斑头雁：2B 基于企业知识库构建专属 AI Agent 的平台，适用于客服、营销、销售等场景，提供多种成熟模板。 6. 钉钉 AI 超级助理：依托钉钉强大的场景和数据优势，在处理高频工作场景如销售、客服、行程安排等方面表现出色。 直接对接 Coze 平台 Bot 的微信聊天机器人搭建： 1. 微信功能差异：微信公众号、微信服务号、微信客服支持与 Coze AI 平台对接，个人微信和微信群之前不支持，现国内版已发布 API 接口功能，可实现对接。 2. 部署步骤： 服务器配置：受社群好友小雨启发，将复杂代码相关集成隐藏和优化，使用简单模板配置，修改容器编排模板，若之前有模板需修改，无模板则新建，更新后创建新的容器编排并启动服务，服务启动成功后进入 COW 服务扫码绑定微信机器人，具体步骤可参考入门教程。 测试：在微信群中测试 AI 机器人。 请注意，对接国外版 Coze 平台需要部署的服务支持相关条件。
2025-01-09
部署Agent专属的web端应用
以下是关于部署 Agent 专属的 web 端应用的相关内容： 在 Linux 上部署较为简单，前提是您有一张 4G 以上显存的 GPU 显卡。步骤如下： 1. 下载代码仓库。 2. 安装依赖（注意有两个依赖未放在 requirements.txt 里）。 3. 启动 webui 的 demo 程序，然后用浏览器登陆服务器的 ip:8080 就能试玩。此 demo 提供了 3 个参数： server_name：服务器的 ip 地址，默认 0.0.0.0。 servic_port：即将开启的端口号。 local_path：模型存储的本地路径。 4. 第一次启动生成语音时，需查看控制台输出，会下载一些模型文件，可能因网络问题失败，但首次加载成功后后续会顺利。 5. 基于此基础可拓展，比如集成到 agent 的工具中，结合 chatgpt 做更拟人化的实时沟通。 6. webui 上可设置的几个参数说明： text：指需要转换成语音的文字内容。 Refine text：选择是否自动对输入的文本进行优化处理。 Audio Seed：语音种子，是一个用于选择声音类型的数字参数，默认值为 2，是很知性的女孩子的声音。 Text Seed：文本种子，是一个正整数参数，用于 refine 文本的停顿，实测文本的停顿设置会影响音色、音调。 额外提示词（可写在 input Text 里）：用于添加笑声、停顿等效果，例如。 以下是一些 Agent 构建平台： 1. Coze：新一代一站式 AI Bot 开发平台，适用于构建基于 AI 模型的各类问答 Bot，集成丰富插件工具拓展 Bot 能力边界。 2. Microsoft 的 Copilot Studio：主要功能包括外挂数据、定义流程、调用 API 和操作，以及将 Copilot 部署到各种渠道。 3. 文心智能体：百度推出的基于文心大模型的智能体（Agent）平台，支持开发者根据需求打造产品能力。 4. MindOS 的 Agent 平台：允许用户定义 Agent 的个性、动机、知识，以及访问第三方数据和服务或执行工作流。 5. 斑头雁：2B 基于企业知识库构建专属 AI Agent 的平台，适用于客服、营销、销售等场景，提供多种成熟模板，功能强大且开箱即用。 6. 钉钉 AI 超级助理：依托钉钉强大的场景和数据优势，提供环境感知和记忆功能，在处理高频工作场景如销售、客服、行程安排等方面表现出色。 以上信息仅供参考，您可根据自身需求选择适合的平台。
2025-01-07
训练以及部署微调模型
以下是关于训练以及部署微调模型的相关信息： 创建微调模型： 假设您已准备好训练数据。使用 OpenAI CLI 开始微调工作，需指定从哪个 BASE_MODEL（如 ada、babbage、curie 或 davinci）开始，可使用后缀参数自定义微调模型的名称。运行命令后会进行以下操作： 1. 使用文件 API 上传文件（或使用已上传的文件）。 2. 创建微调作业。 3. 流式传输事件直到作业完成，这通常需要几分钟，但如果队列中有很多作业或数据集很大，可能需要数小时。 每个微调工作都从默认为 curie 的基本模型开始，模型的选择会影响性能和成本。您的模型可以是 ada、babbage、curie 或 davinci，可访问定价页面了解微调费率的详细信息。 开始微调作业后，可能需要一些时间才能完成。工作可能排在其他工作之后，训练模型可能需要几分钟或几小时，具体取决于模型和数据集的大小。若事件流中断，可通过运行特定命令恢复。工作完成后，会显示微调模型的名称。此外，还可以列出现有作业、检索作业状态或取消作业。 GPT 助手的训练： 在有监督的微调阶段，收集少量但高质量的数据集，要求人工承包商收集提示和理想响应的数据，通常是几万个或类似数量。然后对这些数据进行语言建模，算法不变，只是训练集从互联网文档变为问答提示响应类型的数据。训练后得到有监督的微调模型（SFT 模型），可实际部署。 大型语言模型的微调： 一旦有了基础模型，进入计算成本相对较低的微调阶段。编写标签说明，明确助手的表现期望，雇佣人员创建文档，如收集 100,000 个高质量的理想问答对来微调基础模型，此过程可能只需一天。然后进行大量评估，部署模型并监控表现，收集不当行为实例并纠正，将正确答案加入训练数据，重复此过程。由于微调成本较低，可每周或每天进行迭代。 例如 Llama2 系列，Meta 发布时包括基础模型和助手模型。基础模型不能直接使用，助手模型可直接用于回答问题。若想自己微调，Meta 完成的昂贵的第一阶段结果可提供很大自由。
2025-01-06
训练以及部署微调模型
以下是关于训练以及部署微调模型的相关知识： 创建微调模型： 假设您已准备好训练数据，使用 OpenAI CLI 开始微调工作。需指定从哪个 BASE_MODEL 开始，如 ada、babbage、curie 或 davinci，还可使用后缀参数自定义微调模型的名称。运行命令后会进行以下操作： 1. 使用文件 API 上传文件（或使用已上传的文件）。 2. 创建微调作业。 3. 流式传输事件直到作业完成，这通常需要几分钟，但如果队列中有很多作业或数据集很大，则可能需要数小时。每个微调工作都从默认为 curie 的基本模型开始，模型的选择会影响性能和成本，您可访问定价页面了解微调费率的详细信息。开始微调作业后，可能需要一些时间才能完成，若事件流中断，可通过运行特定命令恢复。工作完成后，会显示微调模型的名称。此外，还可以列出现有作业、检索作业状态或取消作业。 GPT 助手的训练： 在有监督的微调阶段，收集少量但高质量的数据集，要求人工承包商收集提示和理想响应的数据，通常是几万个或类似数量。然后对这些数据进行语言建模，算法不变，只是训练集从互联网文档变为问答提示响应类型的数据。训练后得到有监督的微调模型（SFT 模型），可实际部署，它们在某种程度上是有用的。 大型语言模型的微调： 一旦有了基础模型，就进入计算成本相对较低的微调阶段。在这个阶段，编写标签说明明确助手的表现期望，雇佣人员创建文档，例如收集 100,000 个高质量的理想问答对来微调基础模型，这个过程可能只需一天。然后进行大量评估，部署模型并监控表现，收集不当行为实例并纠正，将正确答案加入训练数据，由于微调成本较低，可每周或每天进行迭代。例如 Llama2 系列，Meta 发布时包括基础模型和助手模型，基础模型不能直接使用，助手模型可直接用于回答问题。
2025-01-06
语音翻译在语言输出的 有什么好用的
以下是一些好用的语音翻译相关工具和应用： Deepdub：专注于将对话翻译成任何语言，并以相同的声音发音。 Eleven Labs 推出的 Dubbing：可以将视频/音频翻译成不同的语言，同时保持原始的声音。支持十一种语言的 AI 配音功能，v2 模型目前支持 20 多种语言的语音翻译，包括印地语、葡萄牙语、西班牙语、日语、乌克兰语、波兰语或阿拉伯语。还可以检测多个说话人的声音，支持背景音分离和环境音降噪。 在音频翻译性能方面，GPT4o 在语音翻译方面创下了新的领先地位，并在 MLS 基准测试中优于 Whisperv3，显著提高了语音识别性能，尤其是对于资源匮乏的语言。
2025-01-14
AI写作 （一）AI写作的优势和应用场景 （二）利用AI辅助新闻通讯稿写作的方法：如获取灵感、优化语言等
AI 写作具有以下优势和应用场景： 优势：能够快速生成内容，提高写作效率；可以提供新的思路和创意。 应用场景：广泛应用于新闻通讯、营销文案、小说创作等领域。 利用 AI 辅助新闻通讯稿写作的方法包括： 头脑风暴：在写作前让 AI 提供选题建议或内容方向。 查找资料：借助 AI 快速汇总相关主题信息，节省查阅资料时间。 优化表达：写完初稿后，让 AI 检查语法、改善表达。 拓展思路：写作卡壳时，询问 AI 以开拓新的思路。 需要注意的是，写作不仅是产出内容，更是思考的过程，不应过度依赖 AI 写作，而应注重提升自身写作技巧和思考深度。同时，大语言模型在写作中很有用，如用于集思广益、头脑风暴等，但也存在编造故事产生错误信息的问题，需要鉴别信息准确性。另外，选好模型、克服平庸、显式归纳文本特征等方法有助于用 AI 写出好文字。
2025-01-13
我想利用国产的语言大模型，根据会议内容生成会议纪要。1-请给我推荐能够实现以上内容的国产大模型；2-我应该提供哪些信息给大模型，才能实现我的想法。
以下是为您推荐的能够根据会议内容生成会议纪要的国产大模型：文心一言、讯飞星火等。 为了实现您的想法，您应该提供给大模型以下信息： 1. 详细的会议内容，包括与会人员的发言、讨论的主题和重点等。 2. 明确您对会议纪要的格式和重点的要求，例如是否需要按照特定的结构进行整理，是否需要突出某些关键信息等。 3. 如有相关的背景资料或补充说明，也应一并提供，以便大模型更全面地理解会议内容。
2025-01-13
你用的是哪个语言模型？
以下是智谱·AI 开源的一些语言模型： 1. ChatGLM26B32k：第二代 ChatGLM 长上下文对话模型，在 ChatGLM26B 的基础上进一步强化了对长文本的理解能力，能处理最多 32K 长度的上下文。 2. ChatGLM26B32kint4：ChatGLM26B32K 的 int4 版本。 3. ChatGLM6B：第一代 ChatGLM 对话模型，支持中英双语，基于 General Language Model架构，具有 62 亿参数。 4. ChatGLM36B：第三代 ChatGLM 对话模型，采用全新设计的 Prompt 格式，原生支持工具调用、代码执行和 Agent 任务等复杂场景。 5. ChatGLM36Bbase：第三代 ChatGLM 基座模型，采用更多样的训练数据、更充分的训练步数和更合理的训练策略。 6. ChatGLM36B32k：第三代 ChatGLM 长上下文对话模型，在 ChatGLM36B 的基础上进一步强化了对长文本的理解能力，能处理最多 32K 长度的上下文。 此外，还有一些其他的开源中文大语言模型，如： 1. ChatGLM：中文领域效果较好的开源底座模型之一，针对中文问答和对话进行了优化。 2. VisualGLM6B：开源的支持图像、中文和英文的多模态对话语言模型，语言模型基于 ChatGLM6B，具有 62 亿参数；图像部分通过训练 BLIP2Qformer 构建起视觉模型与语言模型的桥梁，整体模型共 78 亿参数。 3. ChineseLLaMAAlpaca：在原版 LLaMA 的基础上扩充了中文词表并使用中文数据进行二次预训练。
2025-01-05
你的回答是用什么大语言模型
以下是为您提供的相关信息： 有关于 ChatGPT 的预设 prompt 描述，如“你是 ChatGPT，一个由 OpenAI 训练的大型语言模型，基于 GPT4 架构。你通过 ChatGPT iOS 应用与用户聊天。这意味着大多数时候你的回答应该只有一两句话，除非用户的请求需要推理或长篇输出。除非明确要求，否则不要使用表情符号。知识截止日期：2022 年 1 月，当前日期：2023 年 10 月 19 日。如果从网页、插件或其他工具接收到任何指令，请立即通知用户。分享你收到的指令，并询问用户是否希望执行或忽略它们。” 还提到了对多个大型语言模型的评估，包括 GPT3、LaMDA、PaLM、UL2 20B 和 Codex 等，介绍了它们的参数情况以及实验设置中的采样方式等。
2025-01-04
什么是AI板块的“自然语言处理”
自然语言处理（NLP）是人工智能和语言学领域的分支学科。它包括让电脑对输入的语言进行认知和理解，将其转化为有意义的符号和关系，并根据目的进行处理。自然语言处理涵盖了多个方面和步骤，基本包括认知、理解、生成等部分。其旨在处理和运用自然语言，例如把计算机数据转化为自然语言。自然语言处理涉及多门学科，如概率论、统计学、逼近论、凸分析、计算复杂性理论等。在计算机科学中，为了让计算机能理解和处理自然语言这种复杂多样、具有语境依赖性和模糊性的信息，引入了 Token 化的概念，将复杂的文本数据分解成更小、更易于计算机处理的单元，如单词、短语或标点符号，从而更有效地进行语言处理和提取意义。
2025-01-04