Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

本地化部署

Answer

以下是关于本地化部署的相关内容：

SDXL 的本地化部署： SDXL 的大模型分为两个部分：

  1. 第一部分，base+refiner 是必须下载的，base 是基础模型，用于文生图操作；refiner 是精炼模型，用于对文生图生成的模型进行细化，生成细节更丰富的图片。
  2. 第二部分，SDXL 还有一个配套的 VAE 模型，用于调节图片的画面效果和色彩。

这三个模型的下载链接可关注公众号【白马与少年】，回复【SDXL】获取。

在 webUI 中使用 SDXL 大模型，需先在秋叶启动器中将 webUI 的版本升级到 1.5 以上。然后将模型放入对应的文件夹中，base 和 refiner 放在“……\sd-webui-aki-v4.2\models\Stable-diffusion”路径下；vae 放在“……\sd-webui-aki-v4.2\models\VAE”路径下。完成后启动 webUI，即可在模型中看到 SDXL 的模型。

正常使用方法：先在文生图中使用 base 模型，填写提示词和常规参数，尺寸可设为 1024*1024 进行生成。生成图片后，可将其发送到图生图中，大模型切换为“refiner”，重绘幅度开小一点，再次点击生成。

对于配置较高的电脑，如显卡为 4080ti，生成时间约在十秒左右。配置较低的需自行测试。

还可安装 refine 插件，在扩展列表中搜索 refine 并安装，重启后可在文生图界面直接使用 refine 模型进行绘画。

Google Gemma 的本地化部署： Google 发布的家用版小模型 Gemma 有 2b（20 亿参数）和 7b（70 亿参数）版本。

部署环境准备：

  1. 首先提一下 Ollama，它是一个开源的大型语言模型服务，可方便地部署最新版本的 GPT 模型并通过接口使用，支持热加载模型文件，无需重新启动即可切换不同的模型。
  2. 进入 ollama.com，下载程序并安装（支持 windows，linux 和 macos）。
  3. 查找 cmd 进入命令提示符，输入 ollama -v 检查版本，安装完成后版本应显示 0.1.26。
  4. 输入 cls 清空屏幕，然后直接输入 ollama run gemma 运行模型（默认是 2b），首次需下载，等待一段时间。若想用 7b，运行 ollama run gemma:7b。完成后即可直接对话，2 个模型都安装后，可重复上述指令切换。
Content generated by AI large model, please carefully verify (powered by aily)

References

【SD】向未来而生，关于SDXL你要知道事儿

SDXL的大模型分为两个部分：第一部分，base+refiner是必须下载的，base是基础模型，我们使用它进行文生图的操作；refiner是精炼模型，我们使用它对文生图中生成的模型进行细化，生成细节更丰富的图片。第二部分，是SDXL还有一个配套的VAE模型，用于调节图片的画面效果和色彩。这三个模型，我已经放入了云盘链接中，大家可以关注我的公众号【白马与少年】，然后回复【SDXL】获取下载链接。想要在webUI中使用SDXL的大模型，首先我们要在秋叶启动器中将webUI的版本升级到1.5以上。接下来，将模型放入对应的文件夹中，base和refiner放在“……\sd-webui-aki-v4.2\models\Stable-diffusion”路径下；vae放在“……\sd-webui-aki-v4.2\models\VAE”路径下。完成之后，我们启动webUI，就可以在模型中看到SDXL的模型了。我们正常的使用方法是这样的：先在文生图中使用base模型，填写提示词和常规参数，尺寸可以设置为1024*1024，进行生成。我这边使用了一个最简单的提示词“1girl”，来看看效果。生成的图片大家可以看一下，我觉得是相当不错的。

【SD】向未来而生，关于SDXL你要知道事儿

我知道大家心里可能会想——“就这，还好吧，也没有那么惊艳吧？”，那么，我用同样的参数再给你画一幅sd1.5版本的图像，你就能看出进步有多大了。是不是没有对比就没有伤害？SDXL，真香！还没完，我们到现在还只使用了一个base模型，接下来，将图片发送到图生图当中，大模型切换为“refiner”，重绘幅度开小一点，再次点击生成。可以看到细节又提升了不少，可惜的是，现在还不能配合tile来使用。在生成时间上，我的显卡是4080ti，速度在十秒左右。所以sdxl对于高配电脑还是可以接受的，但配置较低的朋友需要自己去测试一下了。当然，有人可能会说，这个操作好麻烦，生成一张图要去两个界面来回倒腾。在这里，我给大家再介绍一款插件。我们来到扩展列表中，搜索refine，点击安装插件，然后重启。启用这个插件，就可以让我们在文生图的界面直接使用refine模型，进一步到位的绘画。我填写一段正向提示词：a girl looks up at the sky in the city of cyberpunk,close-up,wearing a helmet,fantasy elements,game original,starry_sky,点击生成，生产过程中的显存使用情况，显存基本跑满。

[应用开发] 本地部署Google Gemma

Google刚刚发布了家用版的小模型Gemma，分别为2b（20亿参数）和7b（70亿参数）版本。相对千亿参数的大模型，这种小模型可能不适合解决特别复杂的任务，但是从趋势上看应该是模型本地化提升基础操作效率的模板。类似之前国内发布的ChatGLM-6B。现在的部署环境比一年前要友好多了，首先提一下Ollama，Ollama是一个开源的大型语言模型服务，可以非常方便地部署最新版本的GPT模型并通过接口使用，支持热加载模型文件,无需重新启动即可切换不同的模型。除了Gemma，像小型的llama也支持本地部署。环境准备首先进入ollama.com，下载程序并安装（支持windows，linux和macos）查找cmd进入命令提示符，输入ollama -v检查版本，安装完成后版本应该显示0.1.26cls清空屏幕，接下来直接输入ollama run gemma运行模型（默认是2b），首次需要下载，需要等待一段时间，如果想用7b，运行ollama run gemma:7b完成以后就可以直接对话了，2个模型都安装以后，可以重复上面的指令切换。

Others are asking
AI本地化部署
AI 本地化部署主要包括以下内容： 目前市面上的 AI 有线上和线下本地部署两种方式。线上部署出图速度快，不吃本地显卡配置，无需下载大模型，但出图分辨率受限；线下部署可自己添加插件，出图质量高，但使用时电脑易宕机，配置不高可能爆显存导致出图失败。 线上和线下平台可结合使用，充分发挥各自优势。线上用于找参考、测试模型，线下作为主要出图工具。具体操作如在在线绘图网站的绘图广场上发现想要的画风，点击创作会自动匹配创作使用的模型、lora 和 tag，截取游戏人物底图将线上算力集中在人物身上，多批次、多数量尝试不同画风得出符合游戏的模型+lora 组合，最后在 C 站下载对应模型到本地加载部署即可生图。 此外，Mistral AI 推出的 Mistral Saba 模型可本地部署，适用于单 GPU，能保障数据隐私。
2025-03-27
我想搭建个人rag知识库，实现本地化部署，可以调用本地大模型去分析知识库的内容进行解答
以下是搭建个人 rag 知识库并实现本地化部署，调用本地大模型分析知识库内容进行解答的详细步骤： 一、通过 Open WebUI 使用大模型 1. 访问相关网址，使用邮箱注册账号。 2. 登陆成功后，Open WebUI 一般有两种使用方式，包括聊天对话和 RAG 能力（让模型根据文档内容回答问题，这是构建知识库的基础之一）。 3. 如果要求不高，此时已搭建本地大模型，并通过 Web UI 实现与大模型对话。ChatGPT 访问速度快且回答效果好的原因在于其服务器配置高、训练参数多、数据更优及训练算法更好。 二、本地知识库进阶 1. 若要更灵活掌控知识库，需使用额外软件 AnythingLLM，其包含 Open WebUI 的所有能力，并额外支持选择文本嵌入模型和向量数据库。 2. 安装地址：https://useanything.com/download 。安装完成后进入配置页面，主要分为三步：选择大模型、选择文本嵌入模型、选择向量数据库。 3. 在 AnythingLLM 中有 Workspace 的概念，可创建独有 Workspace 与其他项目数据隔离。首先创建工作空间，然后上传文档并在工作空间中进行文本嵌入，选择对话模式（包括 Chat 模式和 Query 模式），最后进行测试对话。 三、RAG 是什么 利用大模型搭建知识库是 RAG 技术的应用。在进行本地知识库搭建实操前，需对 RAG 有大概了解。RAG 应用可抽象为 5 个过程： 1. 文档加载：从多种来源加载文档，LangChain 提供 100 多种不同的文档加载器，包括非结构化、结构化数据及代码等。 2. 文本分割：文本分割器把 Documents 切分为指定大小的块，称为“文档块”或“文档片”。 3. 存储：涉及将切分好的文档块嵌入转换成向量形式，并将向量数据存储到向量数据库。 4. 检索：通过检索算法找到与输入问题相似的嵌入片。 5. 输出：把问题及检索出来的嵌入片一起提交给 LLM，LLM 会通过问题和检索出来的提示生成更合理的答案。 文本加载器是将用户提供的文本加载到内存中，便于后续处理。
2025-03-25
deepseek本地化部署
DeepSeek 的本地化部署相关内容如下： 拥有云服务器时的本地部署方法及满血版本地部署的实际情况。 在 freely.aliyun.com 可领取 500 元免费额度，但有使用限制，不能部署满血版和较大的增流模型。 介绍了 DLC、DSW 和 EAS 等模型部署平台服务的差别。 此外，还包括以下相关内容： 模型蒸馏微调：会带着大家复现模型的蒸馏和微调，并讲解相关知识。 Deepseek R1 模型的制作及相关模型比较：R1 是原生通过强化学习训练出的模型，蒸馏模型是基于数据微调出来的，基础模型能力强，蒸馏微调模型能力也会强。R1 模型通过强化学习，在训练过程中给予模型反馈，如路线规划是否成功到达终点、输出格式是否符合期望等，对正确路线增强权重，使做对的概率变高，导致思考逻辑变长。用 Deepseek RE Zero 蒸馏出带思考的数据，基于 Deepseek V3 微调，进行冷启动，再做强化学习，还从非公布模型提取微调数据，加上人类偏好，最终形成 R1。并且 Deepseek R1 反过来蒸馏数据微调 V3，形成互相帮助的局面，使两个模型都更强。 阿里云派平台：以云基础设施和 GPU 算力资源为底层，搭建 AI 框架并做优化，提供一键式快捷部署工具等。与百炼不同，它开放更多自由度，租户数据隔离。很多大模型在此训练，支持多机分布式部署等，既面向企业，也适合个人创业者，不同应用定价有差异。
2025-03-10
进行DeepSeek本地化部署有哪些方法？
进行 DeepSeek 本地化部署的方法如下： 如果拥有云服务器，可以进行本地部署，了解满血版本地部署的实际情况。 在 freely.aliyun.com 可领取 500 元免费额度，但有使用限制，不能部署满血版和较大的增流模型。 了解 DLC、DSW 和 EAS 等模型部署平台服务的差别。
2025-03-08
我想完全本地化部署deepseek，然后，将我的文档，文本，图片等内容丢给它训练，微调。我要完全本地化，因为我的文档设计隐私。我要免费开源流程。如何实现，
要完全本地化部署 DeepSeek 并使用您的文档、文本、图片等内容进行训练和微调，以下是一些相关的信息和步骤： 1. 模型训练与平台服务： 模型复现与微调：1:1 复现通常没问题，但理解细节并自行制作需要基础知识。有手把手教程、数据集等可帮助 1:1 复现，微调在特定领域可降低幻觉，参数量不变但权重变化。 训练模型的学习方法：先会用再学会训，从训的过程中倒推学习参数调整，这是以用导学的学习方法。 模型回答效果对比：微调后的模型在回答排列组合等问题时，思考前几乎无反馈，答案多为英文且格式稳定，但仍可能答错。 2. 平台服务介绍： 阿里云提供多种解决方案。 百炼是提供多种模型服务的 Maas 平台。 派平台是提供云服务的 PaaS 平台，二者在定位、服务内容和核心差异上有所不同。 3. 关于模型训练与数据集相关问题： 数据资源情况：默认提供公共数据训练集，百派平台能匹配模型和数据，通义开源了不少数据集。 多模态训练：多模态有自身标注方式，如视频拉框标注。 参数量变化：通常训练模型参数量固定，若想改变需改模型层，但可能要从头调。 本地微调框架：可使用 llama factory 等框架，需搭建并部署。 开源数据下载：可在 GitHub、hugging face、Mo Model Scope 等平台获取。 数据集转化：将文档资料转成数据集可先手动形成 SOP，再逐步自动化，初期需大量人力。 4. 本地部署介绍：讲解了如果拥有云服务器如何进行本地部署，以及满血版本地部署的实际情况。 5. 免费额度说明：在 freely.aliyun.com 可领取 500 元免费额度，但有使用限制，不能部署满血版和较大的增流模型。 6. 平台服务差异：介绍了 DLC、DSW 和 EAS 等模型部署平台服务的差别。 7. 模型蒸馏微调：会带着大家复现模型的蒸馏和微调，并讲解相关知识。 R1 模型的强化学习：通过强化学习，在训练过程中给予模型反馈，如路线规划是否成功到达终点、输出格式是否符合期望等，对正确路线增强权重，使做对的概率变高，导致思考逻辑变长。 R1 模型的蒸馏与微调：用 Deepseek RE Zero 蒸馏出带思考的数据，基于 Deepseek V3 微调，进行冷启动，再做强化学习，还从非公布模型提取微调数据，加上人类偏好，最终形成 R1。 R1 与其他模型的差别：R1 是原生通过强化学习训练出的模型，蒸馏模型是基于数据微调出来的，基础模型能力强，蒸馏微调模型能力也会强。 模型的相互帮助：Deepseek R1 反过来蒸馏数据微调 V3，形成互相帮助的局面，使两个模型都更强。 请注意，在进行本地化部署和训练微调时，需要具备一定的技术知识和经验，并且要遵循相关的法律法规和道德规范。
2025-03-04
企业本地化部署AI
企业本地化部署 AI 主要包括以下方面： RPA 与财务税务问答机器人：RPA 与 AI 结合具有多种应用和优势。操作流程简单，无需代码，适合小白和无 IT 经验者。有众多应用案例，如奥康和方太在各部门的订单处理等操作中搭建了大量脚本。封装了众多组件，还可通过触发器设置机器人每天工作。数字化包括标准化、自动化、RPA 加 AI 使机器人更智能三个阶段，交付的是动态能力，让用户自己搭建机器人。产品可本地化私有部署，面向企业有费用，私有化部署能保障数据安全，企业大模型可封装调用。RPA 有容错处理方式，但受多种因素影响。 LangChain 与 NVIDIA：NVIDIA NIM 是一系列用户友好的微服务，旨在加速企业内部生成式 AI 的部署进程。支持广泛的 AI 模型，基于强大的推理引擎和技术构建，提供无缝的 AI 推理体验。其自托管特性可保障数据安全，提供预构建容器，具有可扩展性。开始使用 NIM 可在 NVIDIA API 目录中获取多种 AI 模型，它是 NVIDIA AI Enterprise 的一部分。 从 LLM 大语言模型、知识库到微信机器人：以 windows10 系统为例，安装环境时先在系统中输入“cmd”打开命令窗口，确认是否有 python 和 pip。若没有则需安装，如安装 python 可下载安装包。部署项目时下载 COW 机器人项目并解压缩。
2025-03-02
本地部署大模型硬件配置
本地部署大模型的硬件配置如下： 生成文字大模型： 最低配置：8G RAM + 4G VRAM 建议配置：16G RAM + 8G VRAM 理想配置：32G RAM + 24G VRAM（如果要跑 GPT3.5 差不多性能的大模型） 生成图片大模型（比如跑 SD）： 最低配置：16G RAM + 4G VRAM 建议配置：32G RAM + 12G VRAM 生成音频大模型： 最低配置：8G VRAM 建议配置：24G VRAM 需要注意的是，最低配置可能运行速度非常慢。对于 SDXL 大模型的本地部署，其分为两个部分，base + refiner 是必须下载的，还有一个配套的 VAE 模型用于调节图片效果和色彩。要在 webUI 中使用 SDXL 的大模型，需在秋叶启动器中将 webUI 的版本升级到 1.5 以上，然后将模型放入对应的文件夹中。对于通义千问的 Qwen2.5 1M 模型的本地部署，使用以下命令启动服务时要根据硬件配置进行设置，如设置 GPU 数量、最大输入序列长度、Chunked Prefill 的块大小、限制并发处理的序列数量等。如果遇到问题，可参考相关的 Troubleshooting 内容。与模型交互可以使用 Curl 或 Python 等方法，对于更高级的使用方式，可以探索如 Qwen Agent 之类的框架。
2025-03-31
如何部署本地大模型
以下是本地部署大模型的一般步骤： 1. 部署大语言模型： 下载并安装 Ollama：根据您的电脑系统，从 https://ollama.com/download 下载。下载完成后，双击打开，点击“Install”。安装完成后，将 http://127.0.0.1:11434/ 复制进浏览器中，若出现相关字样则表示安装完成。 下载 qwen2:0.5b 模型（若设备充足可下载更大模型）： Windows 电脑：点击 win+R，输入 cmd 点击回车。 Mac 电脑：按下 Command（⌘）+Space 键打开 Spotlight 搜索，输入“Terminal”或“终端”，然后从搜索结果中选择“终端”应用程序。 复制相关命令行并粘贴回车，等待自动下载完成。 2. 部署 SDXL 大模型： SDXL 的大模型分为 base+refiner（必须下载）和配套的 VAE 模型。 关注公众号【白马与少年】，回复【SDXL】获取下载链接。 在秋叶启动器中将 webUI 的版本升级到 1.5 以上。 将模型放入对应的文件夹：base 和 refiner 放在“……\\sdwebuiakiv4.2\\models\\Stablediffusion”路径下；vae 放在“……\\sdwebuiakiv4.2\\models\\VAE”路径下。 3. ComfyUI ollama 本地大模型部署： 先下载 ollama 安装，安装完成后可在电脑桌面右下角或隐藏图标里找到。 下载对应的模型，选择模型并复制对应的命令。 打开命令行界面，输入对应的模型获取命令，等待下载完成。 设置目录，下载的模型会保存到 D:\\ollama\\blobs。 进行 docker 安装，安装会下载一些文件，安装后更改目录，不要放在 C 盘。 进行 Open webui 安装，输入相关命令，安装成功后回到 docker，点击会自动打开网页，第一次使用需注册账号，选择下载好的模型即可开始使用。 4. 错误解决：端口占用问题，在 Windows 上可能出现，运行下面两条命令可以解决。 5. 相关链接： comfyuiollama：https://github.com/stavsap/comfyuiollama?tab=readmeovfile Ollama：https://ollama.com/ docker：https://www.docker.com/ Open webui：https://openwebui.com/
2025-03-31
本地用Ollama部署模型，使用哪个ChatBox客户端好？
目前在本地使用 Ollama 部署模型时，没有特别突出或被广泛推荐的特定 ChatBox 客户端。不同的客户端可能在功能、界面和兼容性方面存在差异，您可以根据自己的需求和使用习惯进行选择和尝试。常见的一些客户端包括但不限于 Web 端的简单界面工具，或者一些具有特定功能扩展的桌面应用程序。但具体哪个最适合您，还需要您亲自测试和评估。
2025-03-27
部署
以下是关于不同场景下部署的相关信息： AutoDL 部署 One2345 部署条件：需要有英伟达 GPU 显卡，且运行内存大于 18G，建议使用 RTX3090 及以上显卡。需要有 Ubuntu 系统操作基础。 部署步骤： 挑选设备：在 AutoDL 上挑选符合需求的设备，如 RTX4090/24GB。 镜像选择：选择与原作者要求相同的环境版本，如 PyTorch 2.0.1 与 cuda_11.8。 控制台打开设备：关机后想开机，直接点击即可。 打开终端，部署环境+代码：代码在数据盘中操作，Conda activate 报错输入 conda init bash，然后重启终端。安装步骤原文见：https://github.com/One2345/One2345 。注意：Huggingface 需要代理。 【保姆级】Meta Llama 3 部署到电脑上（Ollama+Open WebUI） 下载 Open WebUI： Windows 电脑：点击 win+R，输入 cmd，点击回车。 Mac 电脑：按下 Command（⌘）+Space 键打开 Spotlight 搜索，输入“Terminal”或“终端”，然后从搜索结果中选择“终端”应用程序。 输入命令等待下载，完成后点击或复制地址进入浏览器：http://localhost:3000/auth/ ，进行注册登录，选择“llama3:8b”即可。 在 Amazon SageMaker 上部署 Llama 3 要将与 llama 交互，使用常见的 OpenAI 格式 messages。 注意：Llama 3 是一个有门槛的模型，请在提交表单前访问并接受许可条款和可接受的使用政策。创建 HuggingFaceModel 后，使用 deploy 方法将其部署到 Amazon SageMaker，使用 ml.p4d.24xlarge 实例类型部署模型，部署可能需要 1015 分钟。
2025-03-27
本地部署
SDXL 的本地部署步骤如下： 1. 模型下载：SDXL 的大模型分为两个部分，第一部分 base + refiner 是必须下载的，base 是基础模型用于文生图操作，refiner 是精炼模型用于细化图片生成细节更丰富的图片；还有一个配套的 VAE 模型用于调节图片的画面效果和色彩。您可以关注公众号【白马与少年】，回复【SDXL】获取下载链接。 2. 版本升级：在秋叶启动器中将 webUI 的版本升级到 1.5 以上。 3. 放置模型：将 base 和 refiner 放在“……\\sdwebuiakiv4.2\\models\\Stablediffusion”路径下，vae 放在“……\\sdwebuiakiv4.2\\models\\VAE”路径下。 4. 启动使用：启动 webUI，在模型中即可看到 SDXL 的模型。正常使用时，先在文生图中使用 base 模型填写提示词和常规参数生成图片，然后将图片发送到图生图中切换大模型为“refiner”重绘。对于不想在两个界面来回操作的情况，可以安装 refine 插件，在文生图界面直接使用 refine 模型。 另外，关于本地部署资讯问答机器人，实现 Langchain + Ollama + RSSHub 的 RAG 需： 1. 导入依赖库：加载所需的库和模块，如 feedparse 用于解析 RSS 订阅源，ollama 用于在 python 程序中跑大模型（使用前确保 ollama 服务已开启并下载好模型）。 2. 从订阅源获取内容：从指定的 RSS 订阅 url 提取内容，通过专门的文本拆分器将长文本拆分成较小的块，并附带相关元数据，最终合并成列表返回。 3. 为文档内容生成向量：使用文本向量模型 bgem3（https://huggingface.co/BAAI/bgem3），从 hf 下载好模型放置在指定路径，通过函数利用 FAISS 创建高效的向量存储。
2025-03-27