Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

如何本地部署

Answer

以下是关于本地部署的相关内容：

SDXL 的本地部署：

  1. SDXL 的大模型分为两个部分：
    • 第一部分，base+refiner 是必须下载的，base 是基础模型，用于文生图操作；refiner 是精炼模型，用于对生成的模型进行细化以生成细节更丰富的图片。
    • 第二部分，SDXL 还有一个配套的 VAE 模型，用于调节图片的画面效果和色彩。
  2. 您可以关注公众号【白马与少年】，回复【SDXL】获取这三个模型的下载链接。
  3. 想要在 webUI 中使用 SDXL 的大模型，首先要在秋叶启动器中将 webUI 的版本升级到 1.5 以上。
  4. 接下来，将模型放入对应的文件夹中，base 和 refiner 放在“……\sd-webui-aki-v4.2\models\Stable-diffusion”路径下；vae 放在“……\sd-webui-aki-v4.2\models\VAE”路径下。完成之后，启动 webUI，就可以在模型中看到 SDXL 的模型。

ChatTTS 的本地部署（Linux 系统）：

  1. 本地部署的前提是您有一张 4G 以上显存的 GPU 显卡。
  2. 简单步骤如下：
    • 下载代码仓库。
    • 安装依赖（⚠️这里有两个依赖它没有放在 requirements.txt 里）。
    • 启动 webui 的 demo 程序，然后用浏览器登陆这个服务器的 ip:8080 就能试玩了。
    • 这个 demo 本身提供了 3 个参数：
      • --server_name:服务器的 ip 地址，默认 0.0.0.0。
      • --servic_port:即将开启的端口号。
      • --local_path:模型存储的本地路径。
    • 第一次启动后生成语音时，需要看下控制台输出，它会下载一些模型文件，因此比较慢，而且可能因为网络的问题有各种失败。但是第一次加载成功了，后面就顺利了。

开始方式的选择： 如果您的电脑是 M 芯片的 Mac 电脑（Intel 芯片出图速度非常慢，因此不建议）或者 2060Ti 及以上显卡的 Windows 电脑，可以选择本地部署。强烈建议在配有 N 卡的 Windows 电脑上进行。对于电脑不符合要求的小伙伴可以直接使用在线工具，在线工具分为在线出图和云电脑两种，前者功能可能会受限、后者需要自己手动部署，大家根据实际情况选择即可。

Content generated by AI large model, please carefully verify (powered by aily)

References

【SD】向未来而生，关于SDXL你要知道事儿

SDXL的大模型分为两个部分：第一部分，base+refiner是必须下载的，base是基础模型，我们使用它进行文生图的操作；refiner是精炼模型，我们使用它对文生图中生成的模型进行细化，生成细节更丰富的图片。第二部分，是SDXL还有一个配套的VAE模型，用于调节图片的画面效果和色彩。这三个模型，我已经放入了云盘链接中，大家可以关注我的公众号【白马与少年】，然后回复【SDXL】获取下载链接。想要在webUI中使用SDXL的大模型，首先我们要在秋叶启动器中将webUI的版本升级到1.5以上。接下来，将模型放入对应的文件夹中，base和refiner放在“……\sd-webui-aki-v4.2\models\Stable-diffusion”路径下；vae放在“……\sd-webui-aki-v4.2\models\VAE”路径下。完成之后，我们启动webUI，就可以在模型中看到SDXL的模型了。我们正常的使用方法是这样的：先在文生图中使用base模型，填写提示词和常规参数，尺寸可以设置为1024*1024，进行生成。我这边使用了一个最简单的提示词“1girl”，来看看效果。生成的图片大家可以看一下，我觉得是相当不错的。我知道大家心里可能会想——“就这，还好吧，也没有那么惊艳吧？”，那么，我用同样的参数再给你画一幅sd1.5版本的图像，你就能看出进步有多大了。是不是没有对比就没有伤害？SDXL，真香！

Stuart：一夜爆火的 ChatTTS 实测

在linux上部署很简单，比GPT-SoVITS更容易，不需要自己下载模型放模型。当然本地部署的前提，依旧是你有一张GPU显卡，4G以上显存。简单步骤如下：1.下载代码仓库2.安装依赖（⚠️这里有两个依赖它没有放在requirements.txt里）3.启动webui的demo程序，然后用浏览器登陆这个服务器的ip:8080就能试玩了这个demo本身提供了3个参数：--server_name:服务器的ip地址，默认0.0.0.0--servic_port:即将开启的端口号--local_path:模型存储的本地路径4.第一次启动后生成语音时，需要看下控制台输出，它会下载一些模型文件，因此比较慢，而且可能因为网络的问题有各种失败。但是第一次加载成功了，后面就顺利了。5.基于这个基础已经可以开始拓展了，比如把它集成到agent的工具中去，比如结合chatgpt来做更拟人化的实时沟通。6.webui上可以设置的几个参数说明：（参考下图）text:指的是需要转换成语音的文字内容。Refine text:选择是否自动对输入的文本进行优化处理。Audio Seed:语音种子，这是一个数字参数，用于选择声音的类型，默认值为2，是一个很知性的女孩子的声音。Text Seed:文本种子，这是一个正整数参数，用于refine文本的停顿。实测文本的停顿设置会影响音色，音调。额外提示词（可以写在input Text里）:用于添加笑声、停顿等效果。例如，可以设置为[oral_2][laugh_0][break_6]。

必学必看基础 ❗️

根据电脑的硬件情况和自身财力💰选择合适的开始方式本地部署如果你的电脑是M芯片的Mac电脑（Intel芯片出图速度非常慢，因此不建议）或者2060Ti及以上显卡的Windows电脑，可以选择本地部署。强烈建议在配有N卡的Windows电脑上进行在线平台对于电脑不符合要求的小伙伴可以直接使用在线工具，在线工具分为在线出图和云电脑两种，前者功能可能会受限、后者需要自己手动部署，大家根据实际情况选择即可配台电脑❗️非常不建议一上来就配主机，因为大概率会变成游戏机或者吃灰（土豪请随意）。玩几个月后还对AI有兴趣的话再考虑配个主机。主机硬盘要大，显卡预算之内买最好，其他的随意[heading2]课程简述[content]先验经验需要熟练使用文生图、图生图；需要有一定的逻辑思考能力以及推理能力；适合炼丹新人、小白课程安排课程大约70-80%是理论和方法论的内容，大部分练习会在课外跟大家沟通、练习。只有少部分必要内容会在课上演示[heading2]学习路径[content]必学、必看内容是基础课，主要是为了解决环境问题和软件安装不上的问题；建炉是针对不同炼丹方式提供了不同的炼丹工具的安装教程；正式的内容部分分为了数据集预处理、模型训练以及模型调试及优化三个部分

Others are asking
本地用Ollama部署模型，使用哪个ChatBox客户端好？
目前在本地使用 Ollama 部署模型时，没有特别突出或被广泛推荐的特定 ChatBox 客户端。不同的客户端可能在功能、界面和兼容性方面存在差异，您可以根据自己的需求和使用习惯进行选择和尝试。常见的一些客户端包括但不限于 Web 端的简单界面工具，或者一些具有特定功能扩展的桌面应用程序。但具体哪个最适合您，还需要您亲自测试和评估。
2025-03-27
AI本地化部署
AI 本地化部署主要包括以下内容： 目前市面上的 AI 有线上和线下本地部署两种方式。线上部署出图速度快，不吃本地显卡配置，无需下载大模型，但出图分辨率受限；线下部署可自己添加插件，出图质量高，但使用时电脑易宕机，配置不高可能爆显存导致出图失败。 线上和线下平台可结合使用，充分发挥各自优势。线上用于找参考、测试模型，线下作为主要出图工具。具体操作如在在线绘图网站的绘图广场上发现想要的画风，点击创作会自动匹配创作使用的模型、lora 和 tag，截取游戏人物底图将线上算力集中在人物身上，多批次、多数量尝试不同画风得出符合游戏的模型+lora 组合，最后在 C 站下载对应模型到本地加载部署即可生图。 此外，Mistral AI 推出的 Mistral Saba 模型可本地部署，适用于单 GPU，能保障数据隐私。
2025-03-27
部署
以下是关于不同场景下部署的相关信息： AutoDL 部署 One2345 部署条件：需要有英伟达 GPU 显卡，且运行内存大于 18G，建议使用 RTX3090 及以上显卡。需要有 Ubuntu 系统操作基础。 部署步骤： 挑选设备：在 AutoDL 上挑选符合需求的设备，如 RTX4090/24GB。 镜像选择：选择与原作者要求相同的环境版本，如 PyTorch 2.0.1 与 cuda_11.8。 控制台打开设备：关机后想开机，直接点击即可。 打开终端，部署环境+代码：代码在数据盘中操作，Conda activate 报错输入 conda init bash，然后重启终端。安装步骤原文见：https://github.com/One2345/One2345 。注意：Huggingface 需要代理。 【保姆级】Meta Llama 3 部署到电脑上（Ollama+Open WebUI） 下载 Open WebUI： Windows 电脑：点击 win+R，输入 cmd，点击回车。 Mac 电脑：按下 Command（⌘）+Space 键打开 Spotlight 搜索，输入“Terminal”或“终端”，然后从搜索结果中选择“终端”应用程序。 输入命令等待下载，完成后点击或复制地址进入浏览器：http://localhost:3000/auth/ ，进行注册登录，选择“llama3:8b”即可。 在 Amazon SageMaker 上部署 Llama 3 要将与 llama 交互，使用常见的 OpenAI 格式 messages。 注意：Llama 3 是一个有门槛的模型，请在提交表单前访问并接受许可条款和可接受的使用政策。创建 HuggingFaceModel 后，使用 deploy 方法将其部署到 Amazon SageMaker，使用 ml.p4d.24xlarge 实例类型部署模型，部署可能需要 1015 分钟。
2025-03-27
本地部署
SDXL 的本地部署步骤如下： 1. 模型下载：SDXL 的大模型分为两个部分，第一部分 base + refiner 是必须下载的，base 是基础模型用于文生图操作，refiner 是精炼模型用于细化图片生成细节更丰富的图片；还有一个配套的 VAE 模型用于调节图片的画面效果和色彩。您可以关注公众号【白马与少年】，回复【SDXL】获取下载链接。 2. 版本升级：在秋叶启动器中将 webUI 的版本升级到 1.5 以上。 3. 放置模型：将 base 和 refiner 放在“……\\sdwebuiakiv4.2\\models\\Stablediffusion”路径下，vae 放在“……\\sdwebuiakiv4.2\\models\\VAE”路径下。 4. 启动使用：启动 webUI，在模型中即可看到 SDXL 的模型。正常使用时，先在文生图中使用 base 模型填写提示词和常规参数生成图片，然后将图片发送到图生图中切换大模型为“refiner”重绘。对于不想在两个界面来回操作的情况，可以安装 refine 插件，在文生图界面直接使用 refine 模型。 另外，关于本地部署资讯问答机器人，实现 Langchain + Ollama + RSSHub 的 RAG 需： 1. 导入依赖库：加载所需的库和模块，如 feedparse 用于解析 RSS 订阅源，ollama 用于在 python 程序中跑大模型（使用前确保 ollama 服务已开启并下载好模型）。 2. 从订阅源获取内容：从指定的 RSS 订阅 url 提取内容，通过专门的文本拆分器将长文本拆分成较小的块，并附带相关元数据，最终合并成列表返回。 3. 为文档内容生成向量：使用文本向量模型 bgem3（https://huggingface.co/BAAI/bgem3），从 hf 下载好模型放置在指定路径，通过函数利用 FAISS 创建高效的向量存储。
2025-03-27
怎么本地部署ai模型，并进行微调
以下是本地部署 AI 模型并进行微调的主要步骤： 1. 选择合适的部署方式：包括本地环境部署、云计算平台部署、分布式部署、模型压缩和量化、公共云服务商部署等，根据自身的资源、安全和性能需求进行选择。 2. 准备训练所需的数据和计算资源：确保有足够的训练数据覆盖目标应用场景，并准备足够的计算资源，如 GPU 服务器或云计算资源。 3. 选择合适的预训练模型作为基础：可以使用开源的预训练模型如 BERT、GPT 等，也可以自行训练一个基础模型。 4. 针对目标任务进行模型微调训练：根据具体应用场景对预训练模型进行微调训练，优化模型结构和训练过程以提高性能。 5. 部署和调试模型：将训练好的模型部署到生产环境，对部署的模型进行在线调试和性能优化。 6. 注意安全性和隐私保护：大模型涉及大量数据和隐私信息，需要重视安全性和合规性。 此外，关于本地部署还有以下相关内容： 如果拥有云服务器如何进行本地部署，以及满血版本地部署的实际情况。 在 freely.aliyun.com 可领取 500 元免费额度，但有使用限制，不能部署满血版和较大的增流模型。 介绍了 DLC、DSW 和 EAS 等模型部署平台服务的差别。 会带着大家复现模型的蒸馏和微调，并讲解相关知识。 PaaS 平台支持多机分布式部署，满足推理性能要求，使用独占资源和专有网络，能一站式完成模型蒸馏。 登录 Pad 控制台，通过 model gallery 进行部署，如 Deepseek R1 模型，可选择 SG 浪或 Vim 推理框架，根据资源出价，部署后可在模型在线服务 EAS 查看状态。 介绍了模型 API 的调用方法，包括查找位置、获取 token 等，强调使用后要及时停止或删除服务以避免持续付费。 总的来说，部署和训练自己的 AI 模型需要综合考虑多方面因素，包括部署方式、数据准备、模型训练、部署调试以及安全性等。需要根据具体需求选择合适的方法，并注意优化各个环节以提高模型性能和应用效果。
2025-03-27
我是一位程序开发小白，不会用代码开发程序。我现在有一台安装Window 11操作系统的笔记本电脑，配置为14代i7CPU、32G内存、1TB硬盘、1张RTX4070显卡。我想部署一套本地的大模型＋智能体＋知识库。我要怎么样才能实现无代码部署，请列出详细的安装步骤。
以下是为您提供的无代码部署本地大模型、智能体和知识库的详细安装步骤： 1. 硬件评估：您的笔记本电脑配置为 14 代 i7 CPU、32G 内存、1TB 硬盘、1 张 RTX4070 显卡，基本满足部署要求。但需要注意，运行内存最低 32GB，越高越好，最低配可能会经常爆显存。建议将软件和模型部署在 SSD（固态硬盘）上，以提高加载模型的速度。 2. 选择合适的部署工具：ComfyUI 是一个相对配置要求较低、系统资源占用少、出图速度快的工具。它最低可在小于 3G 的 GPU 上运行，甚至没有 GPU 光用 CPU 也可以，但速度极慢。SDXL 出来后提高了运行配置，最低需要 8GB 显存+32GB 运行内存，12GB 流畅运行，推荐 16GB 以上。 3. 安装准备：如果您的电脑能顺畅清晰地玩 3A 游戏，那么运行相关部署工具一般也没问题。 4. 预算和需求：根据您的需求和预算来选择合适的配置。例如，如果有做 AIGC 视频、建模渲染和炼丹（lora）的需求，可能需要更高的配置。 请注意，以上步骤仅为参考，实际部署过程可能会因具体情况而有所不同。
2025-03-26