Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

通义千问私有化部署方案

Answer

以下是关于通义千问私有化部署的相关方案：

  1. 在 FastGPT+OneAPI+COW 框架下的部署：
    • 回到宝塔，选择 Docker（若显示“当前未安装”则进行安装，否则无需此步）。
    • 点击确定，等待安装完成，完成后刷新页面确认安装成功。
    • 打开左侧【终端】，粘贴两行命令验证 Docker 是否可用。
    • 一条一条复制并粘贴相关命令完成安装。
    • 访问 OneAPI，地址为：http://这里改成你自己宝塔左上角的地址:3001/（举例：http://11.123.23.454:3001/），账号默认 root，密码 123456。
    • 点击【渠道】，类型选择阿里通义千问，名称随意。
    • 将千问里创建的 API Key 粘贴到秘钥里，点击确认。
    • 点击【令牌】-【添加新令牌】，名称随意，时间设为永不过期、额度设为无限额度，点击【提交】。
    • 点击【令牌】，复制出现的 key 并保存。
  2. 在 Langchain+Ollama+RSSHub 框架下的部署：
    • Ollama 支持包括通义千问在内的多种大型语言模型，适用于多种操作系统，同时支持 cpu 和 gpu。
    • 可通过 https://ollama.com/library 查找模型库，通过简单步骤自定义模型，还提供了 REST API 用于运行和管理模型及与其他应用程序的集成选项。
    • 访问 https://ollama.com/download/ 进行下载安装，安装完之后确保 ollama 后台服务已启动。
  3. 在 0 基础手搓 AI 拍立得框架下的部署：
    • 可以选择通义千问作为模型供应商，其指令灵活性比较丰富，接口调用入门流程长一些，密钥安全性更高。接口调用费用为：调用：¥0.008/千 tokens，训练：¥0.03/千 tokens。可参考通义千问接口调用示例 。
Content generated by AI large model, please carefully verify (powered by aily)

References

张梦飞：【知识库】FastGPT+OneAPI+COW带有知识库的机器人完整教程

1、回到宝塔，选择Docker（如果如图显示，就跟着我安装。如果没显示“当前未安装”，就不需要这一步）2、选择，点击确定。比较慢，等待安装完成。3、安装完成后，刷新当前页面。看到下图的样子，则表示安装成功。4、打开左侧【终端】，粘贴以下两行，再验证下Docker是否可用。看见版本号，就是没问题了。5、一条一条复制以下命令，依次粘贴进入6、一条一条复制以下命令，依次粘贴进入7、完成安装。[heading1]四、配置OneAPI[content]1、访问OneAPI。访问地址：http://这里改成你自己宝塔左上角的地址:3001/（举例：http://11.123.23.454:3001/）账号默认root，密码1234562、点击【渠道】2、类型选择阿里通义千问，名称随意，类型不用删减。3、把千问里创建的API Key粘贴到秘钥里中。点击确认4、点击【令牌】-【添加新令牌】6、名称随意，时间设为永不过期、额度设为无限额度。点击【提交】7、点击【令牌】，会看到自己设置的。点击复制，出现key，然后在标红那一行中，自己手动复制下来。8、OneAPI完成。保存好这个KEY

本地部署资讯问答机器人：Langchain+Ollama+RSSHub 实现 RAG

1.支持多种大型语言模型：Ollama支持包括通义千问、Llama 2、Mistral和Gemma等在内的多种大型语言模型，这些模型可用于不同的应用场景。2.易于使用：Ollama旨在使用户能够轻松地在本地环境中启动和运行大模型，适用于macOS、Windows和Linux系统，同时支持cpu和gpu。3.模型库：Ollama提供了一个模型库，用户可以从中下载不同的模型。这些模型有不同的参数和大小，以满足不同的需求和硬件条件。Ollama支持的模型库可以通过https://ollama.com/library进行查找。4.自定义模型：用户可以通过简单的步骤自定义模型，例如修改模型的温度参数来调整创造性和连贯性，或者设置特定的系统消息。5.API和集成：Ollama还提供了REST API，用于运行和管理模型，以及与其他应用程序的集成选项。6.社区贡献：Ollama社区贡献丰富，包括多种集成插件和界面，如Web和桌面应用、Telegram机器人、Obsidian插件等。7.总的来说，Ollama是一个为了方便用户在本地运行和管理大型语言模型而设计的框架，具有良好的可扩展性和多样的使用场景。后面在捏Bot的过程中需要使用Ollama，我们需要先安装，访问以下链接进行下载安装。https://ollama.com/download/安装完之后，确保ollama后台服务已启动（在mac上启动ollama应用程序即可，在linux上可以通过ollama serve启动）。我们可以通过ollama list进行确认，当我们还没下载模型的时候，正常会显示空：可以通过ollama命令下载模型，目前，我下载了4个模型：几个模型简介如下:

0基础手搓AI拍立得

用成本相对较高，大家可以选择以下供应商中|模型厂商|类型|特点|成本|网址/文档||-|-|-|-|-||智谱<br>GLM-4V|通用视觉类大模型|拍立得最早使用的模型<br>接口响应速度快<br>指令灵活性差一些<br>一个接口支持图片/视频/文本，视频和图片类型不能同时输入|调用：0.05元/千tokens|[智谱接口调用示例](https://bigmodel.cn/dev/api/normal-model/glm-4v)||阿里云百炼<br>qwen-vl-plus|通用视觉类大模型|拍立得目前使用的模型<br>指令灵活性比较丰富<br>接口调用入门流程长一些，密钥安全性更高|调用：¥0.008/千tokens<br>训练：¥0.03/千tokens|[通义千问接口调用示例](https://bailian.console.aliyun.com/?spm=5176.21213303.J_qCOwPWspKEuWcmp8qiZNQ.33.14162f3drQWnj1&scm=20140722.S_card@@%E4%BA%A7%E5%93%81@@2983180._.ID_card@@%E4%BA%A7%E5%93%81@@2983180-RL_%E7%99%BE%E7%82%BC%E5%A4%A7%E6%A8%A1%E5%9E%8B-LOC_search~UND~card~UND~item-OR_ser-V_3-RE_cardNew-P0_0#/model-market/detail/qwen-vl-plus?tabKey=sdk)||阶跃星辰|通用视觉类大模型|响应速度快<br>支持视频理解|输入：¥0.005～0.015/千tokens<br>输出：¥0.02～0.07/千tokens|[阶跃星辰接口调用示例](https://platform.stepfun.com/docs/guide/image_chat)||百度PaddlePaddle|OCR，垂直小模型|文本识别能力补齐增强|私有化部署服务费<br>API调用在¥0.05～0.1/次|[Paddle OCR开源地址](https://github.com/PaddlePaddle/PaddleOCR)|

Others are asking
通义千问最新模型
通义千问最新模型情况如下： 发布了一个模型并开源了两个模型。 Qwen2.5Max：全新升级发布，比肩 Claude3.5Sonnet，几乎全面超越 GPT4o、DeepSeekV3 及 Llama3.1405B。是阿里云通义团队对 MoE 模型的最新探索成果，预训练数据超过 20 万亿 tokens。在多项公开主流模型评测基准上录得高分，开发者可在 Qwen Chat（https://chat.qwenlm.ai/）平台免费体验模型，企业和机构也可通过阿里云百炼平台直接调用新模型 API 服务。 Qwen2.5VL：全新视觉模型实现重大突破，增强物体识别与场景理解，支持文本、图表、布局分析，可处理长达 1 小时视频内容，具备设备操作的 Agent 能力。 Qwen2.51M：推出 7B、14B 两个尺寸，在处理长文本任务中稳定超越 GPT4omini，同时开源推理框架，在处理百万级别长文本输入时可实现近 7 倍的提速，首次将开源 Qwen 模型的上下文扩展到 1M 长度。在上下文长度为 100 万 Tokens 的大海捞针任务中，7B 模型出现少量错误。在更复杂的长上下文理解任务中，Qwen2.51M 系列模型在大多数长上下文任务中显著优于之前的 128K 版本，Qwen2.514BInstruct1M 模型不仅击败了 Qwen2.5Turbo，还在多个数据集上稳定超越 GPT4omini。
2025-02-26
通义千问plus的收费模式
通义千问 Plus 的收费模式如下： 调用费用为 0.008 元/1,000tokens。更多收费标准详见：https://t.aliyun.com/U/SGW1CC
2025-02-25
通义千问电脑版安装
以下是通义千问电脑版的安装步骤： 1. 回到宝塔，选择 Docker。如果显示“当前未安装”，则进行安装，点击确定，等待安装完成。安装完成后，刷新当前页面，看到相应的样子即表示安装成功。 2. 打开左侧【终端】，粘贴以下两行，验证 Docker 是否可用。看见版本号则没问题。 3. 一条一条复制以下命令，依次粘贴进入。 4. 访问 OneAPI，访问地址：http://这里改成你自己宝塔左上角的地址:3001/（举例：http://11.123.23.454:3001/），账号默认 root，密码 123456。 5. 点击【渠道】，类型选择阿里通义千问，名称随意，类型不用删减。 6. 把千问里创建的 API Key 粘贴到秘钥里中，点击确认。 7. 点击【令牌】【添加新令牌】，名称随意，时间设为永不过期、额度设为无限额度，点击【提交】。 8. 点击【令牌】，会看到自己设置的，点击复制，出现 key，然后在标红那一行中，自己手动复制下来。 另外，您还可以通过以下步骤获取通义千问的模型 key：先去，点击创建 API key，复制保存即可。
2025-02-10
通义千问ai视频
通义千问在模型方面有以下重要进展： 发布一个模型开源两个模型： Qwen2.5Max：比肩 Claude3.5Sonnet，并几乎全面超越了 GPT4o、DeepSeekV3 及 Llama3.1405B。 Qwen2.5VL：全新视觉模型实现重大突破，具有增强的物体识别与场景理解能力，支持文本、图表、布局分析，可处理长达 1 小时视频内容，具备设备操作的 Agent 能力。其有 3B、7B 和 72B 三个尺寸版本，在 13 项权威评测中夺得视觉理解冠军，全面超越 GPT4o 与 Claude3.5。支持超 1 小时的视频理解，无需微调即可变身为 AI 视觉智能体，实现多步骤复杂操作。擅长识别常见物体及分析图像中的文本、图表、图标、图形和布局，采用矩形框和点的多样化方式对通用物体定位，支持层级化定位和规范的 JSON 格式输出。提升 OCR 识别能力，增强多场景、多语言和多方向的文本识别和文本定位能力。引入动态帧率（FPS）训练和绝对时间编码技术，支持小时级别的超长视频理解，具备秒级的事件定位能力。开源平台包括：Huggingface（https://huggingface.co/collections/Qwen/qwen25vl6795ffac22b334a837c0f9a5 ）、Modelscope（https://modelscope.cn/collections/Qwen25VL58fbb5d31f1d47 ）、Qwen Chat（https://chat.qwenlm.ai ）。 Qwen2.51M：超长文本处理能力显著提升，处理速度提升近 7 倍，上下文长度扩展至 100 万 tokens，可处理约 150 万汉字（相当于 2 部《红楼梦》）。 在 AI 视频领域，近半年闭源产品的热门趋势如下： 即梦 AI：9 月 24 日字节发布的 PixelDance、Seaweed 两款视频 AI 模型，对长提示词，人物连续动作转变、多镜头组合、人物一致性的支持非常好。目前产品还在开放内测申请中。网页版访问：https://jimeng.jianying.com/aitool/home/ ，内测申请：https://bit.ly/jimengai 。 海螺 AI：MiniMax 出品，出场视频演示非常惊艳，在近期的 Vbench 排行榜中，获得了 16 个维度综合评分第一名。目前仅支持 txt2vid 方案。网页版访问：https://hailuoai.com/video 。 通义万相：阿里云旗下产品，上半年有多个现象级案例刷屏，9 月刚开放了视频生成产品的预约，一次视频生成需要 10min，生成效果一般般。网页版访问：https://tongyi.aliyun.com/ ，移动端下载：通义 APP 。
2025-02-10
通义千问有电脑版吗
通义千问有电脑版。阿里巴巴通义千问 2.5 正式发布，并开源 1100 亿参数模型。通义千问是由阿里云开发的聊天机器人，能够与人交互、回答问题及协作创作。此外，通义千问作为国内免费的 APP 之一，其在多模态和专有能力模型方面影响力强大，始终坚持开源路线，已推出多款开源模型。
2025-02-10
通义千问
通义千问是由阿里云开发的聊天机器人，能够与人交互、回答问题及协作创作。 国内免费的大模型 APP 包括通义千问、Kimi 智能助手、文心一言等。其中，Kimi 智能助手是由 Moonshot AI 出品的有着超大“内存”的智能助手；文心一言是百度出品的 AI 对话产品，能写文案、想点子，又能陪你聊天、答疑解惑。 通义千问在模型方面有以下进展： 1. 发布一个模型开源两个模型，其中一个 AI 视觉智能体能力大幅增强，另一个百万 Tokens 处理速度提升近 7 倍。 开源的 Qwen2.51M 大模型，推出 7B、14B 两个尺寸，在处理长文本任务中稳定超越 GPT4omini，同时开源推理框架，在处理百万级别长文本输入时可实现近 7 倍的提速，首次将开源 Qwen 模型的上下文扩展到 1M 长度。 通义千问旗舰版模型全新升级发布，包括 Qwen2.5Max 比肩 Claude3.5Sonnet，并几乎全面超越了 GPT4o、DeepSeekV3 及 Llama3.1405B；Qwen2.5VL 全新视觉模型实现重大突破，增强物体识别与场景理解，支持文本、图表、布局分析，可处理长达 1 小时视频内容，具备设备操作的 Agent 能力。 2. 在长文本处理能力方面，在上下文长度为 100 万 Tokens 的大海捞针任务中，Qwen2.51M 能够准确地从 1M 长度的文档中检索出隐藏信息，仅有 7B 模型出现了少量错误。对于更复杂的长上下文理解任务，通义官方选择了等测试集。从这些结果中得出关键结论：显著超越 128K 版本，Qwen2.51M 系列模型在大多数长上下文任务中显著优于之前的 128K 版本，特别是在处理超过 64K 长度的任务时表现出色；性能优势明显，Qwen2.514BInstruct1M 模型不仅击败了 Qwen2.5Turbo，还在多个数据集上稳定超越 GPT4omini，因此可以作为现有长上下文模型的优秀开源替代。
2025-02-10
国产ai，除了deepseek能力最强，如元宝ai，文言一心，kimi，纳米ai，通义等，哪个能力最强
以下是关于国产 AI 产品在 2025 年 1 月的一些榜单情况： 在国内流量榜中，排名依次为：deepseek、豆包、Kimi、文心一言、deepseek 开放平台、百度 AI 助手、阿里通义、纳米 AI 搜索、秘塔 AI 搜索。 在国内月活榜中，排名依次为：deepseek、豆包、deepseek 开放平台、Kimi、百度 AI 助手、文心一言、知乎直答、纳米 AI 搜索、沉浸式翻译。 需要注意的是，不同 AI 产品在不同方面可能具有各自的优势，其能力的强弱也会因具体应用场景和用户需求而有所不同。
2025-02-26
目前市面上的文心一言，通义，deepseek等，用于写作效果如何
目前市面上的文心一言、通义、DeepSeek 等用于写作的效果各有特点： 文心一言（百度）：大语言模型，可用以文学创作、商业文案创作、数理逻辑推算、中文理解、多模态生成。 通义（阿里巴巴）：在特定领域和任务上表现出卓越的能力。 DeepSeek：在文字能力上表现突出，尤其在中文场景中高度符合日常、写作习惯，但在专业论文总结方面稍弱。数学能力经过优化表现不错，编程能力略逊于 GPT。 需要注意的是，不同模型的效果会因用户的具体需求和使用场景而有所差异。
2025-02-26
通义智文的网址
阿里通义智文的网址是：tongyi.aliyun.com ，讯飞智文的网址是：zhiwen.xfyun.cn
2025-02-24
通义灵码教程
以下是关于通义灵码的教程： 1. 通义灵码安装：在 vscode 中安装通义灵码，包括在应用商店搜索、安装及相关设置。 2. vscode 界面介绍：讲解新下载 vscode 后的界面，如文件操作、左侧栏功能、搜索功能等，重点指出初级阶段需了解的三个点。 3. 通义灵码拖动：演示将通义灵码从左侧拖动至右侧的操作，此操作基于个人习惯，不拖也不影响使用。 4. 活动回顾与目标：回顾第一节课关于 AI 编程的理解、能力边界、表达需求等内容，明确本次活动目标为完成新年接福小游戏。 5. 复刻新年接福小游戏的流程与方法： 明确目标：确定制作小游戏的目的，如为课程增添趣味性。 绘制原型：将想法具象化，画出游戏页面框架，如开始页、游戏中财宝掉落和用户操作等。 准备素材：寻找合适的图片完善游戏画面，如背景图、财宝和人物形象等。 清晰表达：把需求准确表述给 AI 程序员，如创建文件夹、在特定位置编辑需求等。 利用工具：使用 AI 程序员和相关编程工具实现游戏开发。 此外，通义灵码是阿里巴巴团队推出的一款基于通义大模型的智能编程辅助工具，提供行级/函数级实时续写、自然语言生成代码、单元测试生成、代码注释生成、代码解释、研发智能问答、异常报错排查等能力。在 Pytharm 中，通过“文件”“设置”“插件”红色框位置搜索“通义灵码”进行安装（目前免费）。
2025-02-17
AI模型私有化部署
AI 模型私有化部署具有以下特点和情况： 挑战方面： 在许多中小型行业，如金融、医疗和法律行业，由于对数据私密性要求极高，客户隐私敏感度高，往往需要私有化部署场景，这大大增加了企业培训的难度。 访问 GPT 有门槛，国企类、体制类的合作伙伴可能受限，需要寻找更易于接入的国产模型作为替代方案，如智谱等。 工程化落地难，企业知识库大部分卡在工程问题上，真正能落地的不多，数据清理部分难度较大，技术能力要求比想象中更高。例如某金融企业希望使用大模型构建 AI 智能问答机器人并私有化部署，但因自身规模不大且无数字化系统，实际落地成本可能不比传统人力成本节省更多。 经验分享方面： 构建企业知识库是常见需求，一种普遍解决方案是结合企业私有数据与 RAG 模型的私有化部署。如有特殊需求，还可进行模型的 Finetuning（微调）以优化性能。 基础模型提供推理提示，RAG 用于整合新知识，实现快速迭代和定制化信息检索。通过 Finetuning 可增强基础模型的知识库、调整输出和教授更复杂指令，提高模型整体性能和效率。 360 愿意为有能力的企业赠送免费的私有化部署通用大模型，其可解决隐私泄露和数据流失问题，满足科普和一些通用需求，如办公等。同时提供 360AI 办公的会员服务，围绕办公营销需求做了很多工具，并将其场景化。
2025-02-26
DeepSeek私有化部署分享
以下是关于 DeepSeek 私有化部署的详细内容： 对于个人开发者或尝鲜者，本地部署 DeepSeek 有多种方案，但企业级部署较为繁琐。 企业级部署需先评估服务器资源，包括模型参数量（影响模型智能化程度，参数量越高耗费资源越多）、模型序列长度（一次能处理的最大 Token 数，决定问题输入的最大长度限制）、模型量化类型（参数精度，值越大精度越准确、智能化程度越高）。了解这些基本概念后，可通过配置计算器工具（https://tools.thinkinai.xyz//servercalculator ）评估服务器资源。 Ollama 部署 DeepSeek 的步骤如下： 1. 安装 Ollama：支持在 Mac、Linux、Windows 上下载并运行对应的模型，安装完成后在对应的命令行输入，若输出“Ollama version is 0.5.7”则表示安装成功。 2. 安装 DeepSeek 模型：Ollama 安装成功后访问 Ollama 官网查找要安装的模型，选择适合当前机器配置的模型参数，拷贝对应的执行命令。命令行终端直接执行对应的命令，出现相关对话内容表示 DeepSeek 可在本地正常运行。 此外，还可部署 nomicembedtext 模型，这是一个文本向量化的模型，用于后续基于 Dify 做向量化检索。 部署完 DeepSeek 后，若想使用图形化客户端，可选择多种工具，如 ChatBox、AnythingLLM、Open WebUI、Cherry Studio、Page Assist 等。以 ChatBox 为例，访问其官网（https://chatboxai.app/zh ）下载客户端，在设置中填写 Ollama API 的地址和对应的模型名称并保存，即可在新对话框中选择运行的模型开始对话。 本篇文章主要解决四个问题： 1. 如何合理评估服务器资源。 2. Ollama 部署指定版本的 DeepSeek。 3. 原生部署 DeepSeek。 4. 搭建 Dify 构建企业内的私有知识库、工作流。
2025-02-23
deepseek本地私有化部署
对于 DeepSeek 本地私有化部署，以下是详细的指南： 一、企业级部署前的准备 在进行企业级部署之前，首先需要根据实际业务场景评估所需部署的模型规格以及所需的服务器资源，即进行资源预估。同时，还需要评估业务场景是否需要对模型进行二次开发。 二、Ollama 部署 DeepSeek 1. Ollama 安装 Ollama 是本地运行大模型的工具，支持在 Mac、Linux、Windows 上下载并运行对应的模型。安装完成后，在对应的命令行输入，若输出 Ollama version is 0.5.7，则表示安装成功。 2. DeepSeek 模型安装 Ollama 安装成功后，访问 Ollama 的官网查找要安装的模型。选择适合当前机器配置的模型参数，然后拷贝对应的执行命令。命令行终端直接执行对应的命令，若出现相应对话内容，表示当前 DeepSeek 已在本地可正常运行。 3. nomicembedtext 模型安装 还需要部署 nomicembedtext 模型，这是一个文本向量化的模型，主要用于后续基于 Dify 做向量化检索时使用。 4. 部署图形化客户端 部署完 DeepSeek 后，若想使用图形化工具聊天，可选择多种 UI 工具，如 ChatBox 客户端、AnythingLLM 客户端、Open WebUI 客户端、Cherry Studio 客户端、Page Assist 客户端等。以 ChatBox 为例，直接访问其官网下载对应的客户端，在 ChatBox 的设置中填写 Ollama API 的地址和对应的模型名称，保存后即可在新对话框中选择要运行的模型开始对话。 三、部署 Dify 1. Dify 介绍 Dify 是一款开源的大语言模型应用开发平台，融合了后端即服务和 LLM Ops 的理念，即使是非技术人员也能参与到 AI 应用的定义和数据运营过程中。 2. 运行 Dify Dify 的部署需要本地先支持 Docker 和 Git 的依赖环境，然后在对应的终端直接执行相关代码即可运行。 3. 添加模型 Dify 启动成功后，浏览器访问 http://localhost ，新建账号密码。在右上角 admin 处点击设置，新增本地模型配置。添加 LLM 模型为 deepseekr1:7b，基础 URL 为 http://host.docker.internal:11434 。同时添加之前安装的 nomicembedtext 模型，添加完成后可在模型列表中看到已添加的模型信息。
2025-02-23
如何私有化部署deepseek
私有化部署 DeepSeek 的步骤如下： 1. 注册并登录火山引擎，点击立即体验进入控制台。 网址：https://zjsms.com/iP5QRuGW/ 火山引擎是字节跳动旗下的云服务平台。 2. 创建一个接入点： 点击在线推理创建推理接入点。 为接入点命名为 DeepSeekR1。 若提示“该模型未开通，开通后可创建推理接入点”，点击“立即开通”，勾选全部模型和协议，一路点击开通（免费）。 确认以下无误后，点击“确认接入”按钮。 自动返回创建页面，复制多出的接入点名为“DeepSeekR1”的推理点 ID 保存。 点击【API 调用】按钮，进入后点击【选择 API Key 并复制】，若没有则点击【创建 API key】，复制并保存。 3. 前往 DeepSeek 官网（https://www.deepseek.com/），进入右上角的 API 开放平台。 早期 DeepSeek 有赠送额度，若没有赠送余额可选择充值，支持美元和人民币两种结算方式及各种个性化充值方式。 创建一个 API key，注意 API key 只会出现一次请及时保存。 4. 下载代码编辑器，如 cursor（https://www.cursor.com/）或 vscode（https://code.visualstudio.com/）。 以 cursor 为例，下载安装后，在插件页面搜索并安装 Roocline。 安装完后，打开三角箭头，选中 RooCline 并点击齿轮，进入设置。 配置基本参数： API Provider：选择 DeepSeek。 API Key：填入已创建的 key。 模型：选择 DeepSeekreasoner。 语言偏好设置。 小贴士：记得把 HighRisk 选项都打开，最后点击 Done 保存修改。 在聊天框输入产品需求，输入需求后点击星星优化提示词，最终得到想要的结果。
2025-02-21
dify私有化部署
以下是关于 Dify 私有化部署的相关信息： 1. 部署步骤： 通过云服务器进行部署，相关命令在宝塔面板的终端安装，例如在/root/dify/docker 目录下的 dockercompose 文件。 检查运行情况，若 nginx 容器无法运行，可能是 80 端口被占用，可将终端输出的代码粘贴给 AI 以解决。 在浏览器地址栏输入公网 IP（去掉宝塔面板地址栏后的:8888），随便填写邮箱密码建立知识库并进行设置。 2. 模型选择与配置： 可以选择国内有免费额度的模型，如智谱 AI。 以智谱 AI 为例，在其官网用手机号注册，添加 API keys 并查看免费额度，将钥匙复制保存。 随便创建应用，可先选择智谱 glm4 测试，然后点发布。 创建并复制 api 秘钥。 3. Dify 特点： 作为开源应用，易用性出色且功能强大，安装过程简单快捷，熟练用户约 5 分钟可在本地完成部署。 支持本地部署和云端应用，能应对工作流、智能体、知识库等。 本地部署需自行处理模型接入等问题，包括购买 API、接入不同类型模型，构建个人知识库时还需考虑数据量、嵌入质量和 API 费用等因素。
2024-09-20
私有化部署大模型的教材
以下是为您提供的私有化部署大模型的相关教材： 张梦飞：【全网最细】从 LLM 大语言模型、知识库到微信机器人的全本地部署教程 一、部署大语言模型 1. 下载并安装 Ollama 点击进入，根据您的电脑系统，下载 Ollama：https://ollama.com/download 下载完成后，双击打开，点击“Install” 安装完成后，将下方地址复制进浏览器中。如果出现下方字样，表示安装完成：http://127.0.0.1:11434/ 2. 下载 qwen2:0.5b 模型（0.5b 是为了方便测试，下载快，自己设备充足的话，可以下载更大的模型） 如果您是 windows 电脑，点击 win+R，输入 cmd，点击回车。 如果您是 Mac 电脑，按下 Command（⌘）+ Space 键打开 Spotlight 搜索，输入“Terminal”或“终端”，然后从搜索结果中选择“终端”应用程序。 复制以下命令行，粘贴进入，点击回车。 回车后，会开始自动下载，等待完成（这里下载久了，可能会发现卡着不动，不知道下载了多少了。鼠标点击一下窗口，键盘点空格，就会刷新了） 下载完成后您会发现，大模型已经在本地运行了。输入文本即可进行对话。 【SD】向未来而生，关于 SDXL 您要知道事儿 SDXL 的大模型分为两个部分： 1. 第一部分，base+refiner 是必须下载的，base 是基础模型，我们使用它进行文生图的操作；refiner 是精炼模型，我们使用它对文生图中生成的模型进行细化，生成细节更丰富的图片。 2. 第二部分，是 SDXL 还有一个配套的 VAE 模型，用于调节图片的画面效果和色彩。 这三个模型，您可以关注我的公众号【白马与少年】，然后回复【SDXL】获取下载链接。 想要在 webUI 中使用 SDXL 的大模型，首先我们要在秋叶启动器中将 webUI 的版本升级到 1.5 以上。接下来，将模型放入对应的文件夹中，base 和 refiner 放在“……\\sdwebuiakiv4.2\\models\\Stablediffusion”路径下；vae 放在“……\\sdwebuiakiv4.2\\models\\VAE”路径下。完成之后，我们启动 webUI，就可以在模型中看到 SDXL 的模型了。我们正常的使用方法是这样的：先在文生图中使用 base 模型，填写提示词和常规参数，尺寸可以设置为 10241024，进行生成。 基于多模态大模型给现实世界加一本说明书 大模型应用的利弊： 优点： 适应性极好，通过提示词工程，方便「适应各种奇葩需求」。 对算法的要求降低了不少，大部分功能由大模型提供，特别是非结构化信息的处理。 大模型的 API 访问方式简化了边缘设备的要求，无论在 Android、iOS、HarmonyOS或各种嵌入式设备上都能方便适配。「AGI 终将到来，拥抱未来，虽然路途艰难但相信方向是正确的。」 缺点： 大模型的推理时长目前仍是最大的障碍，传统目标检测或人脸识别优化后能达到 100~300ms，而大模型动则需要 10 秒的延时，限制了许多场景。 模型的幻象和错误率仍然较高，导致上述推理时长问题，在多链路的复杂应用中迅速变得不可行。 在大多数生产模式下，仍然需要使用云服务数据中心，提交的画面不可避免地涉及到隐私问题。 商业私有化部署是刚需，当下的开源模型离 GPT4 代差在半年以上，技术人员任重道远的。
2024-09-03
Deepseek本地化部署
以下是关于 DeepSeek 本地化部署的相关信息： 在“智能纪要：0225|最新的 DeepSeek 玩法教学 2025 年 2 月 25 日”中提到，明天（02/26 20:00）将教授 DeepSeek 本地部署。 在“第三期「AI 实训营」手把手学 AI【第三期：尝鲜阿里云上的 DeepSeek 玩法】”中，02/26 20:00 的课程主题为“人工智能平台 PAI 篇：本地部署满血版 DeepSeek”，课程内容包括 DeepSeek R1 技术原理、解锁 DeepSeek 的不同玩法（问答助手、蒸馏、微调）以及实战演练 DeepSeek R1 满血版快速部署和蒸馏训练。相关课程文档为
2025-02-26
如何部署本地NOTION AI工具
部署本地 NOTION AI 工具需要考虑以下几个方面： 1. 开始方式： 本地部署：如果您的电脑是 M 芯片的 Mac 电脑（Intel 芯片出图速度非常慢，因此不建议）或者 2060Ti 及以上显卡的 Windows 电脑，可以选择本地部署。强烈建议在配有 N 卡的 Windows 电脑上进行。 在线平台：对于电脑不符合要求的小伙伴可以直接使用在线工具，在线工具分为在线出图和云电脑两种，前者功能可能会受限、后者需要自己手动部署，大家根据实际情况选择即可。 配台电脑：非常不建议一上来就配主机，因为大概率会变成游戏机或者吃灰（土豪请随意）。玩几个月后还对 AI 有兴趣的话再考虑配个主机。主机硬盘要大，显卡预算之内买最好，其他的随意。 2. 平台选择： 线上平台：出图速度快，不吃本地显卡的配置，且无需自己下载动辄几个 G 的模型，还能看其他创作者的制作的涩图，但为了节约算力成本他们只支持出最高 1024X1024 左右的图，制作横板、高清等图片就会受限。 线下部署：可以自己添加插件，不卡算力，出图质量高于线上平台，但是使用期间电脑基本处于宕机状态，如果配置不高的话还会出现生成半天之后爆显存的情况，导致出图失败。 3. 具体部署步骤（以接入微信为例）： 下边将出现代码，复制的时候，注意复制全。 代码我已经分好步骤，每次只需要粘贴一行，然后点击一次回车。 回车后，只有最左边显示中括号对话前缀时，不要操作。 如果发现 ctrl+v 粘贴不进去，试试 shift+ctrl+v 粘贴。 点击菜单中，下边的“终端”，然后开始把代码粘贴进入。 第一步：cd/root||exit 1 第二步：下方两行粘贴进入，然后点击回车，等待下载完成。（如果这里有了卡点，进行不下去，可能是因为服务器网络问题，去拉取的时候下载不全，可以复制网址，手动去下载到电脑上。然后进入文件夹，找到 root 文件夹，把下载的文件上传进去就好了。） 2.2、再粘贴下方代码，出现下图，就代表在执行中了。 第三步：rm f Anaconda32021.05Linuxx86_64.sh 第四步：/root/anaconda/bin/conda create y name AI python=3.8 第五步：echo 'source /root/anaconda/bin/activate AI' >> ~/.bashrc 第六步：执行完成后。刷新一下，重新进入终端，您会看到，最左侧出现了（AI）的字符。如果出现了，那么恭喜您。 第七步：继续，一行一行依次粘贴，依次回车。
2025-02-26
如何在MacBook上部署AI工具
在 MacBook 上部署 AI 工具的方法如下： 方法一：接入微信 1. 打开菜单中的“终端”。 2. 按照以下步骤依次粘贴代码并回车： 第一步：cd/root||exit 1 第二步：粘贴下方两行代码，等待下载完成。若有卡点，可能是服务器网络问题，可手动下载文件并上传至 root 文件夹。 第三步：rm f Anaconda32021.05Linuxx86_64.sh 第四步：/root/anaconda/bin/conda create y name AI python=3.8 第五步：依次粘贴并回车：echo'source /root/anaconda/bin/activate AI'>>~/.bashrc 3. 执行完成后，刷新重新进入终端，若最左侧出现“（AI）”字符，则部署成功。 方法二：安装 Trae 1. 科学上网，因为 Trae AI 官网部署在海外，且需要使用海外的大模型。 2. 在官网直接点击下载，Trae 会自动识别电脑芯片。 3. 对于 Mac，将下载完后的左侧 Trae 应用拖动到右侧文件夹内；对于 Windows，双击 Trae 图标完成安装。 4. 安装完成后，点击图标启动，进行简单设置，如选择主题背景和默认语言为中文，根据情况选择“Skip”选项等。 5. 选择合适的登录方式，如 Google 账号或 Github 账号（推荐注册 Github 账号：https://github.com/ ）。 方法三：选择合适的平台 目前市面上有线上和线下本地部署的两种 AI： 线上的优势为出图速度快，不吃本地显卡配置，无需下载大模型，能看其他创作者的作品，但出图分辨率有限。 线下部署的优势为可添加插件，不卡算力，出图质量高，但使用时电脑基本宕机，配置不高可能出问题。 可充分发挥线上和线下平台的优势，线上用于找参考、测试模型，线下作为主要出图工具。例如，在线上绘图网站的绘图广场上发现想要的画风，点击创作获取模型和标签，截取游戏人物底图，多次尝试不同画风得出合适的模型和组合，最后在 C 站（https://civitai.com/ ）下载对应模型到本地加载部署后开始生图。
2025-02-25
deepseek如何本地部署
以下是关于 DeepSeek 本地部署的相关信息： 第三期「AI 实训营」中，02 月 26 日 20:00 的课程涉及“人工智能平台 PAI 篇：本地部署满血版 DeepSeek”，包括 DeepSeek R1 技术原理、解锁 DeepSeek 的不同玩法（如问答助手、蒸馏、微调）以及实战演练（DeepSeek R1 满血版快速部署和蒸馏训练），相关课程文档为 。 韦恩提供的方法： 核心路径是通过工作流+DeepSeek R1 大模型，实现联网版的 R1 大模型。 拥有扣子专业版账号，如果是普通账号，请自行升级或注册专业号后使用。 开通 DeepSeek R1 大模型，访问地址：https://console.volcengine.com/cozepro/overview?scenario=coze 。打开火山方舟，找到开通管理，找到 DeepSeek R1 模型，点击开通服务。添加在线推理模型，添加后在扣子开发平台才能使用。 创建智能体，点击创建，先完成一个智能体的创建。 DeepSeek 大模型，尤其是指有推理功能的 DeepSeek R1 大模型，权重文件开源，可本地部署。
2025-02-25
本地部署Deepseek如何微调呢
对于本地部署 DeepSeek 的微调，以下是一些相关信息： 对于企业级部署，首先要根据实际业务场景评估所需部署的模型规格以及所需的服务器资源，预估完服务器资源后，还需评估业务场景是否需要二次开发模型。如果只是简单微调模型就能符合业务需求，使用 Ollama、LM Studio、GTP4All 或许可以满足诉求；若需要定制化开发模型，则要考虑进行模型的原生部署。 关于微调的方法，LoRA/QLoRA 论文指出其是对模型进行廉价微调的可行方法，如 。 另外，DeepSeek 模型如 JanusPro 有特别的训练法，先进行预训练，然后老师手把手教（监督微调），最后用“精华浓缩法”保存最好的学习成果。
2025-02-23