直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

SD云端部署的教程

回答

Stable Diffusion(SD)的云端部署允许用户利用云服务器的强大计算能力来运行和操作AI绘图模型,无需高端的本地硬件。以下是SD云端部署的教程概述:

  1. 购买云服务器:选择一个云服务提供商,如腾讯云,并购买GPU服务器。在购买时选择合适的配置,如GN7 8核32GB,N卡,并选择Ubuntu Server作为操作系统。
  2. 配置运行环境:安装Anaconda以管理Python环境和依赖。可以通过wget下载Anaconda安装脚本,并按照提示完成安装。
  3. 安装SD-webui:将SD-webui克隆到服务器上,使用git clone命令。然后,修改相关配置文件,如launch.until.py,以适应国内的网络环境。
  4. 启动SD:在激活了相应conda环境后,定位到stable-diffusion-webui项目目录下,执行启动脚本,如./webui.sh --listen,以启动SD的Web界面。
  5. 修改Webui配置:编辑webui.user.sh文件,预先配置一些参数,简化启动流程。
  6. 扩展换源:由于一些扩展源无法在国内直接访问,需要替换成国内可访问的源,如秋叶大佬的源地址。
  7. 下载与安装LoRA和VAE:下载必要的模型,并上传到服务器的相应目录下。LoRA和VAE模型通常需要放置在特定的文件夹内,并在Web UI中进行配置以使其可用。
  8. 安装ControlNet:根据服务器的位置,选择直接从GitHub安装或下载压缩包后上传至服务器。
  9. 配置Clip Skip:调整Clip Skip的设置,并在UI中添加相应的模块以启用该功能。
  10. 安装Hypernetworks(可选):下载并安装Hypernetworks模型,上传到指定的文件夹,并刷新Web UI。
  11. 插件使用:安装汉化插件和其他有用的扩展,如中英对照tag自动补全插件,以改善用户体验。
  12. 保持服务器连接:使用如Putty等工具保持服务器连接的稳定性,避免因连接中断而导致的工作中断。
  13. 其他注意事项:在部署过程中,确保网络环境稳定,及时解决可能遇到的技术问题,并合理管理服务器资源以避免不必要的费用。

请注意,具体的部署步骤可能会根据云服务商的不同而有所变化,同时,确保遵循云服务提供商的使用条款和隐私政策。在部署时,也要注意数据安全和隐私保护,避免泄露敏感信息。

内容由 AI 大模型生成,请仔细甄别(powered by aily)

参考资料

其他人在问
sd 人物的模样及服装等统一
以下是关于人物模样及服装的 SD 关键词描述: 人物类型:肌肉公主、舞者、啦啦队等。 性别:单人,包括女人和男人。 身体特征:有光泽的皮肤、苍白皮肤、白皙皮肤等。 头发样式:直发、卷发、波浪卷等。 头发颜色:挑染、内层挑染、头发内变色等。 头发长度:长发、很短的头发、短发等。 具体人物:初音未来、绫波(碧蓝航线)、比那名居天子、蛮啾(碧蓝航线)、爱宕、时崎狂三、洛琪希、西住美穗、星街彗星、时雨、蒂法·洛克哈特、中野一花、南达科他州(碧蓝航线)、白上吹雪、白井黑子、岛风等。 发型特点:身前,单侧编发,人妻发型;挑染,条纹发色;短碎发等。 面部特征:死鱼眼、晒痕、眼睛发光、垂耳(狗)等。
2024-11-20
SD 下载
以下是关于 SD 下载的相关内容: 1. 模型下载与安装: 二维码做好后,进入 SD 版块,需下载两个 SD 的 ControlNET 模型和一个预处理器。您可以添加公众号【白马与少年】,回复【SD】获取。 在【QR ControlNET】的文件夹中,后缀为【.yaml】的放在“……\\sdwebuiakiv4.2\\extensions\\sdwebuicontrolnet\\models”路径下,后缀为【.safetensors】的放在“……\\sdwebuiakiv4.2\\models\\ControlNet”路径下。 系统要求为 Win10 或 Win11。Win 系统查看配置:在桌面上找到“我的电脑”,鼠标右键点击,点击“属性”,查看 Windows 规格;查看电脑配置时,需满足 3 个要求(推荐):电脑运行内存 8GB 以上,是英伟达的显卡,显卡内存 4GB 以上。 配置达标可跳转至对应安装教程页。 如果不会科学上网,也可去启动器的界面直接下载模型。将下载的大模型放在根目录的【……\\models\\Stablediffusion】文件夹下,在左上角的模型列表中选择(看不到就点旁边的蓝色按钮刷新)。 2. 其他相关文件下载与放置: VAE 可直接在启动器里面下载,下载的 VAE 放在根目录的【……\\models\\VAE】文件夹。 Embedding 可在 C 站通过右上角的筛选 Textual Inversion 找到,放在根目录下的 embeddings 文件夹里。
2024-11-18
sd 下载
以下是关于 SD 下载的相关内容: 1. 模型安装设置: 二维码做好后,进入 SD 版块,需下载两个 SD 的 ControlNET 模型和一个预处理器。可添加公众号【白马与少年】,回复【SD】获取。 在【QR ControlNET】的文件夹中,后缀为【.yaml】的放在“……\\sdwebuiakiv4.2\\extensions\\sdwebuicontrolnet\\models”路径下,后缀为【.safetensors】的放在“……\\sdwebuiakiv4.2\\models\\ControlNet”路径下。 选择模型,填入关键词,设置迭代步数为 15,采样选择 DPM++ 2M Karras,图像大小设置为 768768。 2. SD 的安装: 系统需为 Win10 或 Win11。 Win 系统查看配置: 查看电脑系统:在桌面上找到“我的电脑”,鼠标右键点击,点击“属性”,查看 Windows 规格。 查看电脑配置:检查电脑能否带动 SD,需满足 3 个要求(推荐):电脑运行内存 8GB 以上,是英伟达的显卡,显卡内存 4GB 以上。打开任务管理器(同时按下 ctrl+shift+esc),查看电脑运行内存和显卡内存(显存)。8GB 运行内存可勉强运行 SD,推荐 16GB 以上运行内存;4GB 显存可运行 SD,推荐 8GB 以上显存。 配置达标可跳转至对应安装教程页: 。 配置不够可选择云端部署(Mac 也推荐云端部署): 。 备选:SD 难的话,可先试试简单的无界 AI: 。 3. 软件原理傻瓜级理解: 不会科学上网,可在启动器界面直接下载模型,下载的大模型放在根目录的【……\\models\\Stablediffusion】文件夹下,在左上角模型列表中选择,看不到就点旁边蓝色按钮刷新。 VAE 相当于给模型增加提高饱和度的滤镜和局部细节微调,有的大模型自带 VAE,可不用再加。VAE 可在启动器里下载,放在根目录的【……\\models\\VAE】文件夹下。 Embedding 是提示词打包功能,可在 C 站通过右上角筛选 Textual Inversion 找到,放在根目录下的 embeddings 文件夹里。 LORA 功能强大,可将人物或物品接近完美复刻进图像中,使用时需注意版权和法律问题。
2024-11-18
SD好的模型分享
以下是为您分享的关于 SD 模型的相关内容: 对于 SDXL 的 ControlNet 模型中的 Canny 硬边缘模型,有不同型号,如 4080ti 笔记本测试中,12G 显存下,sdxl base+refiner 模型,使用 diffusers 的 2.5Gfull 模型绘制 10241024 尺寸图片需 2 分 57 秒,320Mb 的 small 模型用时 34s,质量差距不大但时间优势明显。其他作者如 kohya 的用时 33 秒,更接近真实质感。sai 的 128lora 和 256lora 分别用时 39 秒和 1 分 08 秒,偏绘画感觉。t2i 的用时 34s,偏插画。关闭 refiner 能节省一半左右时间,平均 17 秒左右。 在 Depth 深度模型测试中,图形尺寸 6641024,diffusers 的 full 模型用时 2 分 48 秒,small 模型用时 23s,kohya 模型用时 42 秒,sai 模型用时 1 分 12 秒,sargezt 模型用时 1 分 52 秒。 用 Stable Diffusion 时,要先确定照片风格,如生成真人 AI 小姐姐可选用 chilloutmix 的大模型。部分常用大模型可在分享的链接中根据文件夹名称找到。文章第三部分会详细介绍模型下载位置和存放位置。 对于 ControlNet 中线条约束类的预处理器和模型,作者已整理好,如需获取可添加公众号【白马与少年】回复【SD】。同时作者还附上一张图帮助理解 ControlNet 模型的命名规则。
2024-11-17
sd模型
Stable Diffusion(SD)模型是由 Stability AI 和 LAION 等公司共同开发的生成式模型,参数量约 1B,可用于文生图、图生图、图像 inpainting、ControlNet 控制生成、图像超分等任务。 文生图任务是将一段文本输入到 SD 模型中,经过一定迭代次数生成符合文本描述的图片。例如输入“天堂,巨大的,海滩”,模型生成美丽沙滩的图片。 图生图任务在输入文本基础上再输入一张图片,模型根据文本提示将输入图片重绘以更符合文本描述。比如在之前生成的沙滩图片上添加“海盗船”。 输入的文本信息需通过“桥梁”CLIP Text Encoder 模型转换为机器数学信息。该模型作为 SD 模型中的前置模块,将输入文本信息编码,生成 Text Embeddings 特征矩阵,用于控制图像生成。 CLIP 模型包含 Text Encoder 和 Image Encoder 两个模型,在 Stable Diffusion 中主要使用 Text Encoder 模型。它将输入的文本 Prompt 编码转换成 Text Embeddings(文本的语义信息),通过 UNet 网络中的 CrossAttention 模块嵌入 Stable Diffusion 中作为 Condition,对生成图像的内容进行控制与引导。目前 SD 模型使用的是中的 Text Encoder 模型。 CLIP ViTL/14 中的 Text Encoder 是只包含 Transformer 结构的模型,由 12 个 CLIPEncoderLayer 模块组成,模型参数大小是 123M,输出的 Text Embeddings 维度为 77x768。 以下是相关资源获取方式: SD 模型权重百度云网盘:关注 Rocky 的公众号 WeThinkIn,后台回复:SD 模型,即可获得包含多种模型权重的资源链接。 SD 保姆级训练资源百度云网盘:关注 Rocky 的公众号 WeThinkIn,后台回复:SDTrain,即可获得包含数据处理、模型微调训练及基于 SD 的 LoRA 模型训练代码等全套资源。 Stable Diffusion 中 VAE,UNet 和 CLIP 三大模型的可视化网络结构图下载:关注 Rocky 的公众号 WeThinkIn,后台回复:SD 网络结构,即可获得网络结构图资源链接。
2024-11-17
sd安装
以下是关于 SD 安装的详细步骤: 1. 系统要求:系统需为 Win10 或 Win11。 2. Win 系统查看配置: 查看电脑系统:在桌面上找到“我的电脑”,鼠标右键点击,点击“属性”,查看 Windows 规格。 查看电脑配置:检查自己的电脑配置能否带动 SD的显卡,显卡内存 4GB 以上。 打开任务管理器:同时按下 ctrl+shift+esc。 查看电脑运行内存,8GB 运行内存可以勉强运行 SD,推荐 16GB 以上运行内存。 查看电脑显卡内存(显存),4GB 显存可运行 SD,推荐 8GB 以上显存。 3. 配置达标跳转至对应安装教程页:。 4. 配置不够可选择云端部署(Mac 也推荐云端部署):。 5. 备选:SD 好难,先试试简单的无界 AI:。 补充说明: 如果在以上使用过程中发生错误,那么你可能需要部署一下使用环境,我们再次开启最傻瓜安装教学模式。 1. 安装 cuda_11.8.0_522.06_windows.exe。 2. 安装 VisualStudioSetup.exe,选择 C++的桌面开发安装。以上步骤,我们在安装 roop 的时候也做过,如果安装过 roop 的可以跳过。 3. 拷贝 ninja,打开 ninja 文件包,把里面的内容拷贝到秋叶包根目录。 4. 拷贝 python,打开 python 文件包,把里面的内容拷贝到秋叶包根目录替换。 5. 拷贝模型,SAM 和 GroundingDINO 的模型都在这了,放到对应的文件夹即可。 6. 重启,装好了,重启电脑,即可运行。 关于【SD】无需 Lora,一键换脸插件 Roop 的安装: 安装时间比较长,要耐心等待。安装好之后,打开 SD 文件目录下的这个文件夹。在地址栏输入“cmd”,然后回车。在打开的 dos 界面里面,将“python m pip install insightface==0.7.3 user”粘贴进来,就会自动开始安装 insightface。如果这个阶段出现错误,建议去下载使用最新的秋叶 4.2 整合包(6 月 23 号更新),下载包我已经更新到了云盘里,后台回复【SD】就可以下载。安装完成后,重新打开我们的启动器,后台会继续下载一些模型,此时一定要保证全程科学上网。完成这些后,Roop 插件就可以正常使用了。这个插件主要适用于真实的人脸替换,所以对二次元之类的人物作用不大。我们选用一个真实系模型“realisticVisionV20”,关键词描述的是一个老人举着气球。得到了一张如下的照片。接下来启用 ROOP 插件,选择你想要替换的人物照片,面部修复选择“GFPGAN”。右边的参数数值越低,人物会越像,但是图像会很模糊;数值越高人物越不像,但是图像会很清晰。这个就取决于你的需求了,我使用 0.5 测试一下。最下面还有一个放大算法,可以使用一个模型放大你的图像,基本就相当于高清修复。设置好后,点击生成。可以看到,人脸部分的像素是偏低的,有点模糊。但是没有关系,我们可以将这张图发送到“图生图”,开一个比较小的重绘幅度。然后使用 controlnet 中的 tile 模型进行重绘。换脸完成。如果想要这个插件的话,可以添加公众号【白马与少年】,回复【SD】即可。推荐使用最新的秋叶整合包,出错概率最小,另外,科学上网很重要。特别提醒,此插件谨慎使用,切勿触犯法律。
2024-11-16
AI教程
以下是为您提供的 AI 教程相关内容: AI 线上绘画教程: 如果您在工作中需要大量图片,又不想为图片付费或担心版权问题,且无法自己拍摄,AI 生图是高效的解决办法。人像、动物、自然风景或人造景观的图都能用 AI 完成。但主流工具 midjourney 付费成本高,stable diffusion 硬件门槛不低。不过,有像这样的免费在线 SD 工具网站。本教程旨在解决不会使用的问题,计划让入门玩家在半个小时内自由上手创作绘图。如果半小时内无法理解工具使用方法,可联系作者。本教程适用于入门玩家,用于作图或职场应用。作者欢迎读者挑错、评论或微信沟通(记得备注来意:ai 绘图交流),教程内容会持续更新。 AI 视频软件教程: 为您提供以下相关链接: 新手如何学习 AI: 1. 了解 AI 基本概念:建议阅读「」部分,熟悉 AI 的术语和基础概念,了解人工智能及其主要分支(如机器学习、深度学习、自然语言处理等)以及它们之间的联系。浏览入门文章,了解 AI 的历史、当前应用和未来发展趋势。 2. 开始 AI 学习之旅:在「」中,有一系列为初学者设计的课程。可通过在线教育平台(如 Coursera、edX、Udacity)上的课程按自己节奏学习,并有机会获得证书。 3. 选择感兴趣的模块深入学习:AI 领域广泛(比如图像、音乐、视频等),可根据兴趣选择特定模块深入学习,一定要掌握提示词的技巧,它上手容易且很有用。 4. 实践和尝试:理论学习后,实践是巩固知识的关键,尝试使用各种产品做出作品。在知识库有很多实践后的作品、文章分享,欢迎您实践后分享。 5. 体验 AI 产品:与现有的 AI 产品(如 ChatGPT、Kimi Chat、智谱、文心一言等)进行互动,了解其工作原理和交互方式,获得对 AI 实际应用表现的第一手体验,激发对 AI 潜力的认识。
2024-11-21
ComfyUI 安装教程
以下是 ComfyUI 的安装教程: 1. 电脑硬件要求: 系统:Windows 7 以上。 显卡要求:NVDIA 独立显卡且显存至少 4G 起步。 硬盘留有足够的空间,最低 100G 起步(包括模型)。 注:mac 系统、AMD 显卡、低显卡的情况也可以安装使用,但功能不全,出错率偏高,严重影响使用体验,个人建议升级设备或者采用云服务器玩耍。 下载并更新 Nvidia 显卡驱动下载地址:https://www.nvidia.cn/geforce/drivers/ 2. 下载并安装所需要环境(安装过 WebUI 的同学请忽略本步骤): 依次下载并安装 python、VSCode、Git,安装过程中一直点击勾选对应选项,一直下一步。 Python 版本 3.10 以上,下载地址: VSCode 下载地址: Git 下载地址: 安装 Python 时选中“将 Python 添加到系统变量”。 安装 CUDA:https://developer.nvidia.com/cuda1220downloadarchive?target_os=Windows&target_arch=x86_64&target_version=11&target_type=exe_network ,下载文件:cuda_12.2.0_536.25_windows.exe 3. 安装 ComfyUI: 地址:https://github.com/comfyanonymous/ComfyUI 可以下载安装包也可以直接 Git clone https://github.com/comfyanonymous/ComfyUI.git 或者下载安装包 下载安装包或者点击链接下载并解压至本地除 C 盘外的任意盘。然后找到文件名称为 run_nvidia_gpu 的文件双击并启动。启动完成即进入基础界面。 4. 节点存放目录:comfyUI 的节点包括后面安装的拓展节点都存放在本目录下:D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\custom_nodes 5. 模型存放目录: 大模型:D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\checkpoints Lora:D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\loras Vae:D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\vae 6. 模型共用:已经安装了 SDWebUI 的同学可以通过修改文件路径和 WebUI 共用一套模型即可,这样就不用重复下载模型了。找到你已经安装好的 ComfyUI 目录文件下的 extra_model_paths.yaml.example 文件,将后缀.example 删除,然后右键用记事本打开。 7. 快捷键(未提及具体快捷键内容)
2024-11-17
midjourny教程
以下是关于 Midjourney 的一些教程: 1. 线稿上色: 先使用 Midjourney 生成线稿,关键词如“Black and white line drawing illustration of a cute cat cartoon IP character,black line sketch,wearing a fortune hat,wearing a collar around the neck,Carrying a huge bag containing scrolls and ingots,matching rope and straps at his wrists,Chinese element style,popular toys,blind box toys,Disney style,white background niji 5 style expressive”。 用 PS 手动修正错误的地方。 再用 ControlNet 控制,Stable Diffusion 上色。 2. 利用一致性出海马体写真: 得益于“cref”,Midjourney 能够迅速达成角色一致性的目的而无需 Lora。其中,“cref”代表 character reference(角色参考);“cw”则代表 character weight(参考权重),默认为 100,会参考角色的人脸和服装特点。如果只想关注人脸,请调低到 0。 风格复制和服装的替换,应当用提示词(prompt)和“sref”,默认值 100,越高越接近参考图像的风格。 先用“/describe”指令反推海马体的提示词,再配合“sref”,就可以轻松复制图像风格。在回车之前,检查提示词,不要出现和“sref”风格差异过大的 prompt;也可以增加一些之前学过的有用的 prompt。然后 Upscale 最满意的那一张。 3. 人物一致性: YouTube 大神 TAO 最新的教程,原理是把已经确定好的角色生成一个固定成一个快捷命令,每一个角度一个快捷命令,再通过 vray 重绘调用命令重回人物头部。 具体步骤包括:生成图像(提示词加入分割描述,让一张图生成多张同空间小图);通过目标图像不断的重复生成,获取更多一致性的角色图像,下载分类(按照视角不同分类);上传图像,调用 prefer option set 命令,先写命令名称(一个视角操作一次),再放入该视角的照片(4 5 张);放开角色限制生成图像,在确认好的图像上进行局部重绘,框选头部,在原来的命令下加入—快捷命令名称,确认生成即可。
2024-11-17
用AI生成动画的教程
以下是用 AI 生成动画的一些教程: 1. 端午节动态视频: 可以使用即梦或 runway 等工具。如果要字不动,可以先在剪映里添加文字 logo 素材。 先什么关键词都不写,如果效果不满意,再添加关键词。 将视频放入剪映,放上 PNG 透明底图后导出。 2. Runway 生成 AI 动画: 使用图片+文字描述功能,将 MJ 生成的图片增加对应的动态描述,输入 Runway,同时增加镜头变换的设置。具体教程可查看。 3. 利用 AI 批量生成、模仿和复刻《小林漫画》(内含 coze 搭建视频教程): 作者景淮会带着大家试着搭建一个扣子(Coze)工作流来直接生成文字和图片。本文会按照需求分析、扣子搭建、扣子使用链接分享、批量生产图片、总结的顺序进行。
2024-11-17
学习coze的教程
以下是一些学习 Coze 的教程资源: 概览与介绍:https://waytoagi.feishu.cn/wiki/YGgzwDfWLiqsDWk2ENpcSGuqnxg 基础教程: 大圣:胎教级教程:万字长文带你使用 Coze 打造企业级知识库 https://waytoagi.feishu.cn/wiki/CT3UwDM8OiVmOOkohPbcV3JCndb 大聪明:保姆级教程:Coze 打工你躺平 https://waytoagi.feishu.cn/wiki/PQoUwXwpvi2ex7kJOrIcnQTCnYb 安仔:Coze 全方位入门剖析免费打造自己的 AI Agent https://waytoagi.feishu.cn/wiki/SaCFwcw9xi2qcrkmSxscxTxLnxb Coze “图像流”抢先体验 https://waytoagi.feishu.cn/wiki/AHs2whOS2izNJakGA1NcD5BEnuf YoYo:Coze 图像流小技巧:探索视觉艺术的隐藏宝藏 https://waytoagi.feishu.cn/wiki/CTajwJnyZizxlJk8a4AcJYywnfe 【智能体】让 Coze 智能体机器人连上微信和微信群详细配置文档 https://waytoagi.feishu.cn/wiki/ExHMwCDZ7i6NA7knCWucFvFvnvJ 一泽 Eze:万字实践教程,全面入门 Coze 工作流|用 Coze 打造 AI 精读专家智能体,复刻 10 万粉公众号的创作生产力 阅读指南:长文预警,请视情况收藏保存 核心看点:通过实际案例逐步演示,用 Coze 工作流构建一个能够稳定按照模板要求,生成结构化内容的 AI Agent;开源 AI Agent 的设计到落地的全过程思路;10+项常用的 Coze 工作流的配置细节、常见问题与解决方法 适合人群:任何玩过 AI 对话产品的一般用户(如果没用过,可以先找个国内大模型耍耍);希望深入学习 AI 应用开发平台(如 Coze、Dify),对 AI Agent 工作流配置感兴趣的爱好者 注:本文不单独讲解案例所涉及 Prompt 的撰写方法。文末「拓展阅读」中,附有相关 Prompt 通用入门教程、Coze 其他使用技巧等内容,以供前置或拓展学习。
2024-11-15
使用ai工具教程
以下是一些常见的 AI 工具使用教程: AI 画示意图: 假设您需要创建一个项目管理流程图,可以按照以下步骤使用 Lucidchart: 1. 注册并登录: 2. 选择模板:在模板库中搜索“项目管理流程图”。 3. 编辑图表:根据您的项目需求添加和编辑图形和流程步骤。 4. 优化布局:利用 AI 自动布局功能,优化图表的外观。 5. 保存和分享:保存图表并与团队成员分享,或导出为 PDF、PNG 等格式。 利用这些 AI 工具,您可以快速、高效地创建专业的示意图,满足各种工作和项目需求。 AI 视频相关: 以下是一些 AI 视频软件的教程链接: AI 线上绘画: 如果您在工作中需要用到大量图片,又想使用能够商用且具有较强艺术美感的图片,AI 生图是高效的解决办法。不论是人像、动物、自然风景或是人造景观的图,都可以用 AI 完成。 但主流的两款工具 midjourney(MJ)付费成本较高,stable diffusion(SD)硬件门槛不低。不过,还有像这样的免费在线 SD 工具网站。 本教程适用于入门玩家,计划让您在半个小时内自由上手创作绘图。如果半个小时内您无法理解工具如何使用,可通过评论区或加微信 designurlife1st(记得备注来意:ai 绘图交流)与作者联系。教程内容会持续更新,欢迎关注和催更。
2024-11-14
如何做大模型的云端部署与微调
做大模型的云端部署与微调,主要包括以下步骤: 1. 选择合适的部署方式: 本地环境部署。 云计算平台部署。 分布式部署。 模型压缩和量化。 公共云服务商部署。需根据自身的资源、安全和性能需求进行选择。 2. 准备训练所需的数据和计算资源: 确保有足够的训练数据覆盖目标应用场景。 准备足够的计算资源,如 GPU 服务器或云计算资源。 3. 选择合适的预训练模型作为基础: 可以使用开源的预训练模型如 BERT、GPT 等。 也可以自行训练一个基础模型。 4. 针对目标任务进行模型微调训练: 根据具体应用场景对预训练模型进行微调训练。 优化模型结构和训练过程以提高性能。 5. 部署和调试模型: 将训练好的模型部署到生产环境。 对部署的模型进行在线调试和性能优化。 6. 注意安全性和隐私保护: 大模型涉及大量数据和隐私信息,需要重视安全性和合规性。 例如,对于 SDXL 的大模型,本地部署时要注意模型分为 base+refiner 以及配套的 VAE 模型,需将其放入对应文件夹,并在秋叶启动器中将 webUI 的版本升级到 1.5 以上。而对于 Llama3 的部署和微调,实操分两部分,包括本地部署并通过 webdemo 对话,以及使用特定数据集进行微调,具体流程为购买服务器、安装代码环境、下载通用模型和数据集、挑选微调框架、编写微调程序和验证结果。 总的来说,部署和微调大模型需要综合考虑多方面因素,根据具体需求选择合适的方法,并注意优化各个环节以提高模型性能和应用效果。
2024-10-26
对于大语言模型使用的未来趋势,是闭源云端还是开源本地部署,作为普通用户是否有必要了解本地部署知识,并且是否有必要自己搭建agent以及rag?
大语言模型的未来趋势在闭源云端和开源本地部署方面存在多种可能性。 对于开源本地部署,以下是一些相关信息: Ollama 是一个方便用户在本地运行和管理大型语言模型的框架,具有以下特点: 支持多种大型语言模型,如通义千问、Llama 2、Mistral 和 Gemma 等,适用于不同应用场景。 易于使用,适用于 macOS、Windows 和 Linux 系统,同时支持 CPU 和 GPU。 提供模型库,用户可从中下载不同模型,以满足不同需求和硬件条件,模型库可通过 https://ollama.com/library 查找。 支持用户自定义模型,例如修改温度参数调整创造性和连贯性,或设置特定系统消息。 提供 REST API 用于运行和管理模型,以及与其他应用程序的集成选项。 社区贡献丰富,包括多种集成插件和界面,如 Web 和桌面应用、Telegram 机器人、Obsidian 插件等。 安装可访问 https://ollama.com/download/ 。 可以通过一些教程学习如何本地部署大模型以及搭建个人知识库,例如了解如何使用 Ollama 一键部署本地大模型、通过搭建本地聊天工具了解 ChatGPT 信息流转、RAG 的概念及核心技术、通过 AnythingLLM 搭建完全本地化的数据库等。 同时,采用开源或国内企业提供的 13B 级模型本地部署在内部系统中,虽需投入算力,但有其价值。智能客服的大量优质大客户可能会选择自己搭建智能客服平台,并结合大模型企业提供的技术服务,基于大模型搭建 LangChain、RAG 框架,实现 RPA 自动流程。 对于普通用户是否有必要了解本地部署知识以及是否有必要自己搭建 agent 以及 rag,这取决于个人需求和兴趣。如果您希望更深入了解大模型的工作原理和运行机制,或者有特定的个性化需求,那么了解和尝试本地部署可能是有意义的。但如果只是一般的使用需求,可能无需深入了解和自行搭建。
2024-09-03
云端comfy ui
以下是关于云端 Comfy UI 的使用教程: 1. 打开链接的工作流:https://www.esheep.com/app/5977 ,点击查看工作流,会出现登录或注册界面,正常注册即可。如果已经登录会自动出现相应界面。 2. 步骤 1:红色框选择生成图片的大模型,绿色框添加提示词,蓝色框填写反向提示词。 3. 步骤 2:红色框设置大小确保是 16:9 的比例,绿色框修改参数,若不理解参数保持默认即可。 4. 步骤 3:红色框上传深度图。 5. 步骤 4:点击立即生成,最下面就会出现图片,在生成历史中下载图片即可。
2024-08-11
你的知识库是怎么部署的
部署个人知识库需要考虑硬件配置和相关技术原理。 硬件方面: 生成文字大模型,最低配置为 8G RAM + 4G VRAM,建议配置为 16G RAM + 8G VRAM,理想配置为 32G RAM + 24G VRAM(如果要跑 GPT3.5 差不多性能的大模型)。 生成图片大模型(比如跑 SD),最低配置为 16G RAM + 4G VRAM,建议配置为 32G RAM + 12G VRAM。 生成音频大模型,最低配置为 8G VRAM,建议配置为 24G VRAM。 技术原理方面: 利用大模型的能力搭建知识库本身就是一个 RAG 技术的应用。在这个过程中,首先检索外部数据,然后在生成步骤中将这些数据传递给 LLM。 RAG 应用包括文档加载、文本分割、存储、检索和输出这 5 个过程。 文档加载:从多种不同来源加载文档,LangChain 提供了 100 多种不同的文档加载器。 文本分割:把 Documents 切分为指定大小的块。 存储:涉及将切分好的文档块进行嵌入转换成向量的形式,并将 Embedding 后的向量数据存储到向量数据库。 检索:通过某种检索算法找到与输入问题相似的嵌入片。 输出:把问题以及检索出来的嵌入片一起提交给 LLM,LLM 会通过问题和检索出来的提示一起来生成更加合理的答案。 此外,搭建基于 GPT API 的定制化知识库,涉及给 GPT 输入(投喂)定制化的知识。GPT3.5 一次交互(输入和输出)只支持最高 4096 个 Token。为了处理大量领域知识,OpenAI 提供了 embedding API 解决方案。embeddings 是一个浮点数字的向量(列表),两个向量之间的距离衡量它们的关联性,小距离表示高关联度。
2024-11-11
本地部署的AI工具
以下是关于本地部署的 AI 工具的相关信息: 目前市面上的 AI 工具分为线上和线下本地部署两种: 线上的优势:出图速度快,不依赖本地显卡配置,无需下载大型模型,能查看其他创作者的作品,但出图分辨率受限,一般最高支持 1024×1024 左右,制作横板、高清图片会受影响。 线下部署的优势:可以添加插件,不卡算力,出图质量高。但使用时电脑基本处于宕机状态,配置不高可能会出现爆显存导致出图失败的情况。 具体的部署步骤(以 windows10 系统为例,mac 系统步骤类似,命令有所不同): 1. 安装环境: 点击电脑“系统”,输入“cmd”,回车打开命令窗口。 在命令窗口中,粘贴代码确认是否有 python 和 pip。 若没有,需安装:先安装 python,安装包可通过下载,按照步骤安装,关闭窗口再次运行命令确认。 2. 部署项目: 下载 COW 机器人项目并解压缩。 回到 chatgptonwechat/文件路径下,空白处右键,打开 Powershell 复制粘贴“python app.py”,弹出二维码扫码登录。 注意事项: 1. 程序在本地运行,关闭窗口进程结束,若要持续使用需保持窗口打开和运行。 2. 若突然不管用,可点击窗口并按空格。 3. 配置时,在 config.json 中的 OpneAi_Api 填“http://localhost:3000/api/v1/chat/completions”。 对于游戏截图升级到 KV 品质的应用,可充分发挥线上和线下平台的优势:线上找参考、测试模型,线下作为主要出图工具。先在线上绘图网站的绘图广场发现想要的画风,点击创作获取模型 lora 和 tag,截取游戏人物底图将线上算力集中在人物身上,多批次尝试不同画风得出合适模型+lora 组合,最后在 C 站()下载对应模型到本地加载部署后正式生图。
2024-11-10
Mac部署stable diffusion
在 Mac 上部署 Stable Diffusion 存在一定限制,功能可能不全且出错率偏高,严重影响使用体验。个人建议升级设备或者采用云服务器玩耍。 如果您仍想在 Mac 上部署,可以参考以下步骤: 1. 电脑硬件要求: 系统:无明确针对 Mac 的特定系统要求。 显卡:未明确针对 Mac 的显卡要求。 硬盘:留有足够的空间,最低 100G 起步(包括模型)。 2. 环境安装: 未提供 Mac 系统下的具体环境安装步骤。 由于 Mac 系统的特殊性,更推荐您采用云端部署的方式,相关教程可参考:https://qa3dhma45mc.feishu.cn/wiki/A6WYw1Nm0ikGplkuO9Ecwomqnnd
2024-11-06
联想异能者配置i5-12450八核,32GB内存,1TB固态硬盘,用于本地部署开源大模型可以部署哪些开源大模型
以下是一些您的联想异能者配置(i512450 八核,32GB 内存,1TB 固态硬盘)可部署的开源大模型及相关信息: ComfyUI 相比 WebUI 配置更低,系统资源占用更少,出图速度更快。ComfyUI 最低可在小于 3G 的 GPU 上运行,甚至没有 GPU 光用 CPU 也可以运行,但速度极慢。SDXL 出来后提高了运行配置,最低需要 8GB 显存+32GB 运行内存,12GB 流畅运行,推荐 16GB 以上。玩 SDwebui 和 ComfyUI 建议使用 6GB 以上的显存的 NVIDIA 显卡(N 卡),内存在 16G 以上。硬盘会影响加载模型的速度,所以最好把软件和模型部署在 SSD(固态硬盘)上。 截止 2024 年 5 月,主流的 AI 笔记本电脑主要是一些专门为人工智能和深度学习设计的高性能移动工作站。一些知名品牌包括微软第 11 代 Surface Pro、微星 Creator/Workstation 系列、技嘉 Aero/Aorus 系列、戴尔 Precision 移动工作站、惠普 ZBook 移动工作站、联想 ThinkPad P 系列。这些笔记本通常配备强大的 GPU(如 NVIDIA RTX 系列)、大容量内存(32GB 以上)和高速固态硬盘,还通常预装了 NVIDIA CUDA、cuDNN 等深度学习框架,以及各种 AI 开发工具。但这类高端 AI 笔记本价格相对较高,通常在 2000 美元以上。用户可根据自身需求和预算选择合适型号,并关注散热、续航等实际使用体验。 请注意,配置上不封顶,您可根据自己的需求和预算来选择。
2024-11-04
docker部署qwen
以下是关于 Docker 部署相关问题的综合回答: 容器编排模板: 容器编排模板是一种配置文件,用于在 Docker 中部署和管理多个容器,可一键部署复杂环境,无需手动配置细节,如配置 COW 组件与微信和极简未来平台交互。 使用 Docker 部署 COW 组件的原因: Docker 提供隔离运行环境,确保应用在任何环境稳定运行,简化安装和配置过程,保证环境一致,便于管理和维护。 配置多个前缀触发机器人回复的原因: 配置如“bot”、“@bot”等多个前缀,能确保机器人只在特定情况回复,避免群聊或私聊中频繁干扰,提高响应准确性和用户体验。 扫码登录失败的解决办法: 1. 重启 Docker 容器:在宝塔面板中找到对应容器,点击“重启”。 2. 检查网络连接:确保服务器和微信客户端能正常访问互联网。 3. 重新扫描二维码:等待容器重启后,重新扫描日志中生成的二维码。 费用相关: 使用 AI 微信聊天机器人的费用实际上不高,极简未来平台按使用量收费,对一般用户费用相对低廉,充值少量费用通常可用很长时间,且平台提供每天签到免费领积分福利,进一步降低使用成本。使用极简未来平台创建 AI 机器人的具体费用未明确给出。
2024-10-20