Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

comfyUI的工作流如何一键部署到云服务器

Answer

ComfyUI 是一个基于 Python 的用户界面库,用于构建和可视化机器学习工作流。要将 ComfyUI 的工作流部署到云服务器上,可以参考以下步骤:

  1. 在本地安装 ComfyUI 库,并创建一个工作流。
  2. 使用 ComfyUI 的部署工具,将工作流打包成一个 Docker 容器。
  3. 将 Docker 容器上传到云服务器,并在服务器上运行容器。
  4. 在云服务器上配置网络和安全设置,以确保工作流可以被外部访问。
  5. 使用 ComfyUI 的 API 或前端界面,与部署在云服务器上的工作流进行交互。

具体的部署步骤可能因云服务器的类型和配置而有所不同。可以参考 ComfyUI 的文档和相关教程,以获取更详细的指导。

Content generated by AI large model, please carefully verify (powered by aily)

References

【ComfyUI】本地部署ComfyUI上手指南,我就喜欢连连看

就可以生成这样一个节点,可以选择我们安装好的大模型,并且后面还有三个连接点,可以指向下一个模块。我们按住clip后面的点进行拖拽,点击【CLIPTextEncode】,得到一个提示词输入框。同理,我们可以再加一个提示词框,形成了一个正向提示词和一个负向提示的架构。为了后面更方便使用,我们还可以点击右键,给节点添加颜色。比如,正向提示词为绿色,负向提示词为红色。为了方便管理,我们可以再添加一个组,放在组里的节点可以一起移动,方便了我们后面做一些模组管理。接下来,我们需要使用采样器来给提示词内容添加噪声。从提示词节点后面再次拉出一根线,选择【KSampler】。这里面可以看到我们熟悉的参数:种子数、迭代步数、CFG、采样器等等。我就不做过多解释了,学过webUI的理解起来都很容易。这时,我们就可以将模型和负向提示词全部连上了。接下来,设置输出图片尺寸,从【latent image】中拉出一个节点,选择【EmptyLatentImage】。

【ComfyUI】本地部署ComfyUI上手指南,我就喜欢连连看

我们就可以在这个节点里面填写想要输出的尺寸,和一次性生成的数量。接下来,我们要使用VAE来对之前的噪声进行解码,从【LATENT】中拉出一个节点,选择【VAEDecode】。建立好之后,将最开始的VAE节点与之相连。最后,我们要输出图片,从VAE解码的节点中的【IMAGE】中拉出一根线。选择【SaveImage】,这样我们每次生成的图片都会存放在output文件夹里面。如果不想每次都保存,可以选择下面的【PreviewImage】。到此为止,我们就建立好了一个简单的文生图工作流。可以在右侧点击【Save】,保存这个工作流,那么下一次我们要进行文生图操作的时候,只需要载入这个工作流就可以了,不用再重复搭建。我们填入一套提示词,来测试一下这套工作流的使用情况,点击【Queue Promot】开始渲染。出图完成,说明我们的工作流可以正常运行了,撒个花吧,庆祝我们的第一次搭建成功。放大一下看看,和webUI的成图效果没有什么区别。

AIGC Weekly #54

发现一个项目,可以把你本地的ComfyUI工作流一键变成在线服务。你可以选择使用原始的ComfyUI界面,或者使用他们生成的API,自己的前端界面。很容易就可以吧ComfyUI的工作流变成产品,比如直接搞个SVD视频生成的服务。

Others are asking
ComfyUI 万物迁移工作流
ComfyUI BrushNet: 项目链接: 原项目:https://tencentarc.github.io/BrushNet/ 插件地址:https://github.com/kijai/ComfyUIBrushNetWrapper 模型下载:https://huggingface.co/Kijai/BrushNetfp16/tree/main 第一次运行会自动下载需要的模型,如果是用的 ComfyUIBrushNetWrapper 节点,模型将自动从此处下载:https://huggingface.co/Kijai/BrushNetfp16/tree/main 到 ComfyUI/models/brushnet,因环境问题,也可手动下载放在这个文件夹里。另外,BrushNet 提供了三个模型,个人测试下来,random 这个效果比较好。 工作流:配合 mj 出底图,在底图不变的基础上,添加文字或者图片内容。另外可以使用 GDinoSAm(GroundingDino+Sam),检测和分割底图上的内容,做针对性的修改。 4SeasonYou 工作流副本: 一、加载模型部分(总文件有) 官网下载两个文件。 先点击如图中的左上角部分将加载器展开且选择官网下载好的两个模型,否则将会有以下的问题。 GDino 加载器部分:在链接:处下载以下文件。 然后再次检查自己的文件有没有齐全:在 models 下创建 groundingdino 且配置以下文件命名齐全。同理,sams 也是。对于 groundingdino 和 sams 配置有没有齐全可以使用“抠头发.json”来检验。 然后,接下来很大概率在运行到此节点时会报科学上网的(httpsxxxxx)错误。倘若觉得在此工作流中排除 bug 很慢,不妨使用此网址的工作流(可以直接复制他的 json 内容自己创建一个 txt 文件后粘贴,再改后缀名为 json。)进行操作:。那么就要在尝试稳定的科学上网后重启 UI 跑工作流。
2025-01-14
comfyUI 工作流
ComfyUI 工作流主要包括以下内容: 低显存运行工作流:目的是让 FLUX 模型能在较低显存情况下运行。分阶段处理思路为,先在较低分辨率下使用 Flux 模型进行初始生成,然后采用两阶段处理,即先用 Flux 生成,后用 SDXL 放大,有效控制显存使用,最后使用 SD 放大提升图片质量。工作流流程包括初始图像生成(Flux),涉及 UNETLoader 加载 flux1dev.sft 模型、DualCLIPLoader 加载 t5xxl 和 clip_l 模型、VAELoader 加载 fluxae.sft 等步骤,以及图像放大和细化(SDXL),包括加载 SDXL 模型、放大模型等步骤。 工作流网站: “老牌”workflow 网站 Openart.ai,流量较高,支持上传、下载、在线生成,免费账户有 50 个积分,加入 Discord 可再加 100 积分,开通最低每月 6 美元套餐后每月有 5000 积分,网址为 https://openart.ai/workflows/ 。 ComfyWorkflows 网站,支持在线运行工作流,从实际下载量和访问量来看略少于 openart,网址为 https://comfyworkflows.com/cloud 。 Flowt.ai,网址为 https://flowt.ai/community 。 相关介绍: RPA 很早就出现在工作流编排领域,目标是使符合某些适用性标准的基于桌面的业务流程和工作流程实现自动化。 ComfyUI 将开源绘画模型 Stable Diffusion 进行工作流化操作,提高了流程的可复用性,降低了时间成本,其 DSL 配置文件支持导出导入。 Dify.AI 的工作流设计语言与 ComfyUI 有相似之处,都定义了一套标准化的 DSL 语言,方便导入导出进行工作流复用。 Large Action Model 采用“通过演示进行模仿”的技术,从用户提供的示例中学习。但 Agentic Workflow 存在使用用户较少、在复杂流程开发上不够稳定可靠等问题,同时提出通过自然语言创建工作流的想法。
2025-01-13
comfyui安装
ComfyUI 的安装方式主要有以下几种: 1. 本地安装: 命令行安装:这是普适性最强的方法,安装后二次遇到问题的概率相对较低,但对于不熟悉命令行及代码的用户有一定门槛。ComfyUI 的源码地址在 https://github.com/comfyanonymous/ComfyUI ,安装方法写在了 Readme 中,您也可以按照 Readme 文档进行操作。 安装包安装:这种方法安装比较简单,下载就能用。ComfyUI 的官方安装包目前仅支持 Windows 系统,且显卡必须是 Nivida。下载地址是 https://github.com/comfyanonymous/ComfyUI/releases ,您只需下载最新的版本,解压就能使用。 2. 云端安装:云端配置相对较高,生成图片的速度会更快,但需要一定的费用。如果您想在云端安装,可以跳到 https://www.comflowy.com/zhCN/preparationforstudy/installcloud 。 在进行本地安装之前,还需要安装一些环境: 1. 依次下载并安装 Python(版本 3.10 以上)、VSCode、Git,安装过程中一直点击勾选对应选项,一直下一步。 Python 安装包: VSCode 安装包: Git 安装包: 安装 ComfyUI 时,您可以通过以下方式: 下载安装包或者点击链接 https://github.com/comfyanonymous/ComfyUI 下载并解压至本地除 C 盘外的任意盘。然后找到文件名称为 run_nvidia_gpu 的文件双击并启动。启动完成即进入基础界面。 此外,ComfyUI 的节点包括后面安装的拓展节点都存放在 D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\custom_nodes 目录下。 大模型存放在 D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\checkpoints ,Lora 存放在 D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\loras ,Vae 存放在 D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\vae 。 已经安装了 SDWebUI 的同学可以通过修改文件路径和 WebUI 共用一套模型即可,这样就不用重复下载模型了。找到您已经安装好的 ComfyUI 目录文件下的 extra_model_paths.yaml.example 文件,将后缀.example 删除,然后右键用记事本打开。
2025-01-12
Comfyui教程
以下是一些关于 ComfyUI 的教程资源: 1. ComfyUI 官方文档:提供了使用手册和安装指南,适合初学者和有经验的用户。可在获取相关信息。 2. 优设网:有详细的 ComfyUI 入门教程,适合初学者,介绍了特点、安装方法及生成图像等内容。教程地址是。 3. 知乎:有用户分享了 ComfyUI 的部署教程和使用说明,适合有一定基础并希望进一步了解的用户。可在找到相关教程。 4. Bilibili:提供了从新手入门到精通各个阶段的一系列视频教程,能更直观地帮助学习。可在找到。 此外,还有以下教程: 1. 一个全面的 ComfyUI 教程:https://www.comflowy.com/zhCN 2. 超有意思的 ComfyUI 教程:https://comfyanonymous.github.io/ComfyUI_tutorial_vn/ ComfyUI 基础教程中关于 KSampler 的部分: KSampler 即采样器,包含以下参数: 1. seed:随机种子,用于控制潜空间的初始噪声。若要重复生成相同图片,需种子和 Prompt 相同。 2. control_after_generate:设置每次生成完图片后 seed 数字的变化规则,有 randomize(随机)、increment(递增 1)、decrement(递减 1)、fixed(固定)。 3. step:采样的步数。一般步数越大效果越好,但与使用的模型和采样器有关。 4. cfg:一般设置在 6 8 之间较好。 5. sampler_name:可通过此设置采样器算法。 6. scheduler:调度器控制每个步骤中去噪的过程,可选择不同调度算法。 7. denoise:表示要增加的初始噪声,文生图一般默认设置为 1。 请注意,内容由 AI 大模型生成,请仔细甄别。
2025-01-11
comfyui workflow
ComfyUI 的工作流主要包括以下内容: 低显存运行工作流:目的是让 FLUX 模型能在较低显存情况下运行。分阶段处理思路为,先在较低分辨率下使用 Flux 模型进行初始生成,然后采用两阶段处理,即先用 Flux 生成,后用 SDXL 放大,有效控制显存使用,最后使用 SD 放大提升图片质量。工作流流程包括初始图像生成(Flux)阶段的 UNETLoader 加载 flux1dev.sft 模型、DualCLIPLoader 加载 t5xxl 和 clip_l 模型、VAELoader 加载 fluxae.sft 等步骤,以及图像放大和细化(SDXL)阶段的 CheckpointLoaderSimple 加载 SDXL 模型、UpscaleModelLoader 加载 RealESRGAN_x4.pth 用于放大等步骤。 工作流相关网站: Openart.ai:流量较高,支持上传、下载、在线生成,免费账户有 50 个积分,加入 Discord 可再加 100 积分,开通最低每月 6 美元套餐后每月有 5000 积分。 ComfyWorkflows 网站:支持在线运行工作流,实际下载量和访问量略少于 openart。 Flowt.ai:https://flowt.ai/community 提示词自动生成 ComfyUI 工作流:英伟达整了个花活,通过画图提示词自动生成匹配的 ComfyUI 工作流,命名为 ComfyGen(comfy 生成器),目前仅支持文生图模型。英伟达称其可以生成高质量的图并泛化到其他领域,做了对比测试,效果基本一致甚至更符合人类对提示词的判断和理解,与 C 站上人类写的提示词对比效果略胜一筹,但项目未开源。
2025-01-09
comfyui 学习教程
以下是一些关于 ComfyUI 的学习资源和推荐学习路径: 学习资料网站: ComfyUI 官方文档:提供使用手册和安装指南,适合初学者和有经验的用户。网站:https://www.comfyuidoc.com/zh/ 优设网:有详细的入门教程,介绍了 ComfyUI 的特点、安装方法及生成图像等内容。教程地址:https://www.uisdc.com/comfyui3 知乎:有用户分享的部署教程和使用说明,适合有一定基础并希望进一步了解的用户。教程地址:https://zhuanlan.zhihu.com/p/662041596 Bilibili:有一系列涵盖从新手入门到精通各个阶段的视频教程。教程地址:https://www.bilibili.com/video/BV14r4y1d7r8/ 共学快闪内容:包括 Stuart 风格迁移、红泥小火炉基础课程、大雨换背景图等众多课程和工作流相关内容。 推荐学习路径: 入门视频教程:学习三个 NENLY 出品的免费视频课程,包括“ComfyUI 入门教程”(https://www.bilibili.com/video/BV1D7421N7xN)、“ComfyUI 自定义节点的秘密”(https://www.bilibili.com/video/BV1pZ421b7t7)、“拆解 ComfyUI 工作流”(https://www.bilibili.com/video/BV1ab42187er/)。 理论宝典教程:学习 ZHO 出品的免费理论视频课程。 文生图实操:学习完上述视频课程后,可使用文生图工作流实际出图实操,工作流地址:https://openart.ai/workflows/lailai/textgeneratesimagesmvpworkflow/ChYNJiXHkZrjyvg1yL9f 内容由 AI 大模型生成,请仔细甄别。
2025-01-06
有什么工具可以一键总结B站视频并生成视频文稿的
以下是一些可以一键总结 B 站视频并生成视频文稿的工具和方法: 1. GPT:将 B 站视频的字幕提取后发给 GPT 进行总结。获取字幕的方法是,如果视频有字幕按钮,说明作者已上传字幕或后台适配了 AI 字幕。对于有字幕的视频,可以安装油猴脚本,安装后刷新浏览器,点击字幕会出现“下载”按钮,可选择多种字幕格式,然后将字幕文字内容复制发送给 GPT 进行总结。 2. BibiGPT:可以支持小红书、B 站等网站视频的归纳总结,还可以提问互动,答案会附上对应的视频节点。推荐链接:https://bibigpt.co/r/Bm63FV 、https://bibigpt.co/
2025-01-11
我想一键一句话生成一个网站用什么工具
以下是一些可以一键一句话生成网站的工具: 1. Figma to HTML:适用于 Figma 设计稿,不是图片。使用方法为在设计好的界面中,右击 Plugins Figma to HTML,选取设计稿并设置转换目标为 html 文件,点击 Convert 后开始下载,得到 html 文件。 2. Literally Anything:优点是极其方便,可用于获得复杂网页的部分小组件的代码;缺点是功能单一,很难实现精美网页。使用时描述想要生成的网页,点击 Edit Code 显示 html 代码。 3. Stunning:优点是便捷,制作的网页较为精美;缺点是灵活性不高。使用方法为点击 New Website 新建,根据需求选择对应的模版,和 Stunning AI 交流设计需求,一键生成网页并局部微调细节。 4. GPTs Instant Website :生成的网页可直接通过链接访问。 以下是一些制作网站的 AI 工具: 1. Zyro:网址:。特点:使用 AI 生成网站内容,包括文本、图像和布局建议;提供 AI 驱动的品牌和标志生成器;包含 SEO 和营销工具。 2. 10Web:网址:。特点:基于 AI 的 WordPress 网站构建工具,可自动生成网站布局和设计;提供一键迁移功能;集成 AI 驱动 SEO 分析和优化工具。 3. Jimdo Dolphin:网址:。特点:通过询问用户问题定制网站;提供自动生成的内容和图像;包含电子商务功能。 4. Site123:网址:。特点:简单易用,适合初学者;提供多种设计模板和布局;包括内置的 SEO 和分析工具。 此外还有: 1. Wix ADI。特点:基于用户提供的信息自动生成定制化网站;提供多个设计选项和布局;集成 SEO 工具和分析功能。 2. Bookmark:网址:。特点:AIDA 通过询问用户几个简单问题快速生成网站;提供直观的拖放编辑器;包括多种行业模板和自动化营销工具。 3. Firedrop:网址:。特点:Sacha 可根据用户指示创建和修改网站设计;提供实时编辑和预览功能;包含多种现代设计风格和自定义选项。 4. The Grid:网址:。特点:Molly 可自动调整网站的设计和布局;基于内容和用户互动进行优化;支持多种内容类型。
2024-12-30
🚀接着上期SOP+AI:打造职场高效能人士的秘密武器的分享,今天继续聊聊SOP+AI的应用,🎯今天的主题是“怎样利用AI节约10倍内容创作时间?”📚最近跟团队有开始运营小红书账号,就想着先给自己打造点顺手的工具,于是乎「小红书文案专家」就出生啦~🎉[heading1]一、先介绍下我们小Bot[content]🛺BOT名称:小红书文案专家功能价值:见过多个爆款文案长啥样,只需输入一个网页链接或视频链接,就能生成对应的小红书文案,可以辅助创作者生成可以一键复制发布的初稿,提供创意和内容,1
以下是关于“SOP+AI”的相关内容: 怎样利用 AI 节约 10 倍内容创作时间? 最近团队开始运营小红书账号,于是打造了“小红书文案专家”。 BOT 名称:小红书文案专家 功能价值:见过多个爆款文案,输入网页或视频链接就能生成对应的小红书文案,辅助创作者生成可一键复制发布的初稿,提供创意和内容,节约 10 倍文字内容创作时间。 应用链接:https://www.coze.cn/s/ij5C6LWd/ 设计思路: 痛点:个人时间有限,希望有人写初稿并生成配图。 实现思路:为自己和团队设计工作流,让 AI 按运营思路和流程工作。 一期产品功能: 1. 提取任何链接中的标题和内容。 2. 按小红书平台文案风格重新整理内容。 3. 加入 emoji 表情包,使文案更有活力。 4. 为文案配图片。 二期计划功能:持续优化升级,增加全网搜索热点功能,提炼热点新闻或事件关键信息,结合用户想要生成的内容方向输出文案和配图。 SOP+AI:打造职场高效能人士的秘密武器 案例分享:X 公司客服团队引入 SOP 和 AI 助手后,工作效率显著提升。引入 SOP 前,客服工作流程混乱,效率低下,客户满意度不高。引入 SOP 标准化操作后,效率提高。进一步引入 AI 助手,自动回复常见问题、处理简单请求,减少客服工作量,还能及时发现问题帮助优化。结果客服团队工作效率提升 30%以上,客户满意度显著提高。SOP 能提升效率、减少失误、促进协作,借助 AI 助手,SOP 制定和优化更高效智能。
2024-12-20
可以一键抠图的ai
以下为一些可以一键抠图的 AI 工具和方法: 1. TecCreative:操作指引为点击智能抠图卡片,上传需要抠出主体物的图片。 2. remove:可以直接抠图,也可安装在 PS 里进行操作,图片上传即可抠图,可用于制作一些素材。 3. 手机自带抠图功能(如 Iphone)、美图秀秀或一些在线网站,如 https://www.remove.bg/zh ,直接上传图片即可。 希望这些信息对您有所帮助。
2024-12-16
出现了视频一键仿制的AI了吗
目前尚未有成熟且广泛应用的能够实现视频一键仿制的 AI 技术。虽然 AI 在视频处理和生成方面取得了一定的进展,但要达到一键仿制整个视频的程度,还面临着诸多技术挑战和法律、道德等方面的限制。
2024-12-02
一键生成流程图
以下为您提供几种一键生成流程图的方法: 1. 借助图像流生成扣子 Bot: 需求分析:在上次文章发布后,有朋友询问能否一键生成,答案是可以的。之前的方式无法直接生成图片,此次使用图片流处理图片,整个工作流程为用户输入关键词,大模型制作金句,生成画面描述,结合描述和关键词使用插件生成图片,再用图像流结合金句和图片。 扣子搭建:未详细提及。 使用链接:未详细提及。 总结:未详细提及。 2. 使用 ChatGPT 生成: 生成流程图有两种方式: 可视化拖拽:代表产品有 processon(web 工具)、visio(本地软件)。优点是直观,缺点是需花时间在布局上。 语法渲染成图形:代表语法为 Mermaid。优点是只用关注逻辑,文本即图形,方便嵌入 markdown 文件,且不同渲染引擎可渲染成多种样式;缺点是有点抽象。 3. 利用 Lucidchart 生成项目管理流程图: 注册并登录:。 选择模板:在模板库中搜索“项目管理流程图”。 编辑图表:根据项目需求添加和编辑图形和流程步骤。 优化布局:利用 AI 自动布局功能优化外观。 保存和分享:保存图表并与团队成员分享,或导出为 PDF、PNG 等格式。
2024-11-29
comfyui无法连接服务器
ComfyUI 无法连接服务器可能有以下原因和解决办法: 1. 网络问题导致无法从 GitHub 下载资源: 可以使用国内镜像,参考文档中的说明。 直接从 GitHub 网页下载资源,然后放到对应的文件路径。 2. 终端连接不上 GitHub 可能是因为网络未做到终端 FanQiang,需要配置好代理。具体端口要根据自己的 FanQiang 服务来看,最好把这个配置到默认的终端启动项里边:export https_proxy=http://127.0.0.1:7890 http_proxy=http://127.0.0.1:7890 all_proxy=socks5://127.0.0.1:7890 。或者考虑使用第三方镜像站下载,如 TUNA()。 此外,安装 ComfyUI 还有以下电脑硬件要求: 1. 系统:Windows7 以上(不建议使用 XP 系统)。 2. 显卡要求:NVDIA 独立显卡且显存至少 4G 起步。 3. 硬盘留有足够的空间,最低 100G 起步(包括模型)。 注:mac 系统、AMD 显卡、低显卡的情况也可以安装使用,但功能不全,出错率偏高,严重影响使用体验,个人建议升级设备或者采用云服务器玩耍。
2024-11-30
我想在云服务器部署使用 dify 和 comfyui ,云服务器机器配置需要什么要求呢
在云服务器部署使用 Diffy 和 ComfyUI ,云服务器机器配置要求如下: 1. 系统:Windows 7 以上。 2. 显卡要求:NVIDIA 独立显卡且显存至少 4G 起步。但 SDXL 出来后提高了运行配置,最低需要 8GB 显存+32GB 运行内存,12GB 流畅运行,推荐 16GB 以上。 3. 硬盘:留有足够的空间,最低 100G 起步(包括模型)。硬盘会影响加载模型的速度,最好把软件和模型部署在 SSD(固态硬盘)上。 4. 内存:最低 32GB,越高越好,最低配会经常爆显存。 需要注意的是,ComfyUI 相比 WebUI 配置更低,系统资源占用更少,出图速度更快,最低可在小于 3G 的 GPU 上运行,甚至没有 GPU 光用 CPU 也可以运行,但速度极慢。如果您的电脑能顺畅清晰地玩 3A 游戏,那玩 WebUI 和 ComfyUI 通常也没问题。配置上不封顶,根据自己的需求和预算来选择即可。
2024-10-19
怎么在云服务器中部署dify
若要在云服务器中部署 dify,你需要按照以下步骤进行操作: 1. 申请云服务器:按照丁先生的教程申请云服务器,注意要选择腾讯云服务器,而不是阿里云服务器。 2. 安装 Docker:可以选择在宝塔面板中安装或使用命令安装,具体方法请参考。 3. 部署 dify:参考以下内容进行部署:。
2024-04-21
如何部署ollama
以下是部署 Ollama 的详细步骤: 1. 下载并安装 Ollama: 根据您的电脑系统,点击进入 https://ollama.com/download 下载 Ollama。 下载完成后,双击打开,点击“Install”。 安装完成后,将下方地址复制进浏览器中。如果出现下方字样,表示安装完成:http://127.0.0.1:11434/ 2. 下载 qwen2:0.5b 模型(0.5b 是为了方便测试,下载快,自己设备充足的话,可以下载更大的模型): 如果是 Windows 电脑,点击 win+R,输入 cmd,点击回车。 如果是 Mac 电脑,按下 Command(⌘)+Space 键打开 Spotlight 搜索,输入“Terminal”或“终端”,然后从搜索结果中选择“终端”应用程序。 复制以下命令行,粘贴进入,点击回车。 回车后,会开始自动下载,等待完成。(这里下载久了,可能会发现卡着不动,不知道下载了多少了。鼠标点击一下窗口,键盘点空格,就会刷新了) 下载完成后您会发现,大模型已经在本地运行了。输入文本即可进行对话。 3. 部署 Google Gemma: 首先进入 ollama.com,下载程序并安装(支持 windows,linux 和 macos)。 查找 cmd 进入命令提示符,输入 ollama v 检查版本,安装完成后版本应该显示 0.1.26,cls 清空屏幕,接下来直接输入 ollama run gemma 运行模型(默认是 2b),首次需要下载,需要等待一段时间,如果想用 7b,运行 ollama run gemma:7b 。 完成以后就可以直接对话了,2 个模型都安装以后,可以重复上面的指令切换。 4. 安装 Docker Desktop: 点击/复制到浏览器去下载 https://docs.docker.com/desktop/install/windowsinstall/ 。 下载后,双击下载项目,出现下图,点击 ok,开始加载文件。注意!!!!这里下载相对比较快,下载完成后,不要点击“close and restart”,因为这样会直接重启,导致 llama3 下载中断。 这里先不点击,等待终端的模型下载完成后,再点击重启。 重启后,点击:“Accept” 。 选择第一个,点击"Finish" 。 然后会提示您注册账号,如果打不开网页,就需要科学上网了。 按照正常的注册流程,注册账号,并登录 Docker 即可。登录后会进入 Docker Desktop。此处完成。 5. 下载 Open WebUI: 回到桌面,再打开一个新的终端窗口(可以放心多个窗口,不会互相影响)。 如果是 Windows 电脑,点击 win+R,输入 cmd,点击回车。 如果是 Mac 电脑,按下 Command(⌘)+Space 键打开 Spotlight 搜索,输入“Terminal”或“终端”,然后从搜索结果中选择“终端”应用程序。 将以下命令输入,等待下载。 出现上图,即是下载完成。 点击或复制下方地址进入浏览器:http://localhost:3000/auth/ 。 点击进行注册即可,注册输入昵称、邮箱、密码。注册完即可登录进入。 登入后,看到如下页面,点击顶部的 Model,选择“llama3:8b”。 完成。您已经拥有了一个属于自己的本地大语言模型。可以开始与他对话啦!ps.他的回复速度,取决于您的电脑配置。
2025-01-13
可以本地部署的类似coze一样的平台
以下是一些可以本地部署且类似 Coze 的平台以及直接对接 Coze 平台 Bot 的微信聊天机器人的搭建方法: Agent 构建平台: 1. Coze:新一代一站式 AI Bot 开发平台,集成丰富插件工具,适用于构建各类问答 Bot。 2. Mircosoft 的 Copilot Studio:主要功能包括外挂数据、定义流程、调用 API 和操作,以及将 Copilot 部署到各种渠道。 3. 文心智能体:百度推出的基于文心大模型的智能体平台,支持开发者根据需求打造产品能力。 4. MindOS 的 Agent 平台:允许用户定义 Agent 的个性、动机、知识,以及访问第三方数据和服务或执行工作流。 5. 斑头雁:2B 基于企业知识库构建专属 AI Agent 的平台,适用于客服、营销、销售等场景,提供多种成熟模板。 6. 钉钉 AI 超级助理:依托钉钉强大的场景和数据优势,在处理高频工作场景如销售、客服、行程安排等方面表现出色。 直接对接 Coze 平台 Bot 的微信聊天机器人搭建: 1. 微信功能差异:微信公众号、微信服务号、微信客服支持与 Coze AI 平台对接,个人微信和微信群之前不支持,现国内版已发布 API 接口功能,可实现对接。 2. 部署步骤: 服务器配置:受社群好友小雨启发,将复杂代码相关集成隐藏和优化,使用简单模板配置,修改容器编排模板,若之前有模板需修改,无模板则新建,更新后创建新的容器编排并启动服务,服务启动成功后进入 COW 服务扫码绑定微信机器人,具体步骤可参考入门教程。 测试:在微信群中测试 AI 机器人。 请注意,对接国外版 Coze 平台需要部署的服务支持相关条件。
2025-01-09
部署Agent专属的web端应用
以下是关于部署 Agent 专属的 web 端应用的相关内容: 在 Linux 上部署较为简单,前提是您有一张 4G 以上显存的 GPU 显卡。步骤如下: 1. 下载代码仓库。 2. 安装依赖(注意有两个依赖未放在 requirements.txt 里)。 3. 启动 webui 的 demo 程序,然后用浏览器登陆服务器的 ip:8080 就能试玩。此 demo 提供了 3 个参数: server_name:服务器的 ip 地址,默认 0.0.0.0。 servic_port:即将开启的端口号。 local_path:模型存储的本地路径。 4. 第一次启动生成语音时,需查看控制台输出,会下载一些模型文件,可能因网络问题失败,但首次加载成功后后续会顺利。 5. 基于此基础可拓展,比如集成到 agent 的工具中,结合 chatgpt 做更拟人化的实时沟通。 6. webui 上可设置的几个参数说明: text:指需要转换成语音的文字内容。 Refine text:选择是否自动对输入的文本进行优化处理。 Audio Seed:语音种子,是一个用于选择声音类型的数字参数,默认值为 2,是很知性的女孩子的声音。 Text Seed:文本种子,是一个正整数参数,用于 refine 文本的停顿,实测文本的停顿设置会影响音色、音调。 额外提示词(可写在 input Text 里):用于添加笑声、停顿等效果,例如。 以下是一些 Agent 构建平台: 1. Coze:新一代一站式 AI Bot 开发平台,适用于构建基于 AI 模型的各类问答 Bot,集成丰富插件工具拓展 Bot 能力边界。 2. Microsoft 的 Copilot Studio:主要功能包括外挂数据、定义流程、调用 API 和操作,以及将 Copilot 部署到各种渠道。 3. 文心智能体:百度推出的基于文心大模型的智能体(Agent)平台,支持开发者根据需求打造产品能力。 4. MindOS 的 Agent 平台:允许用户定义 Agent 的个性、动机、知识,以及访问第三方数据和服务或执行工作流。 5. 斑头雁:2B 基于企业知识库构建专属 AI Agent 的平台,适用于客服、营销、销售等场景,提供多种成熟模板,功能强大且开箱即用。 6. 钉钉 AI 超级助理:依托钉钉强大的场景和数据优势,提供环境感知和记忆功能,在处理高频工作场景如销售、客服、行程安排等方面表现出色。 以上信息仅供参考,您可根据自身需求选择适合的平台。
2025-01-07
训练以及部署微调模型
以下是关于训练以及部署微调模型的相关信息: 创建微调模型: 假设您已准备好训练数据。使用 OpenAI CLI 开始微调工作,需指定从哪个 BASE_MODEL(如 ada、babbage、curie 或 davinci)开始,可使用后缀参数自定义微调模型的名称。运行命令后会进行以下操作: 1. 使用文件 API 上传文件(或使用已上传的文件)。 2. 创建微调作业。 3. 流式传输事件直到作业完成,这通常需要几分钟,但如果队列中有很多作业或数据集很大,可能需要数小时。 每个微调工作都从默认为 curie 的基本模型开始,模型的选择会影响性能和成本。您的模型可以是 ada、babbage、curie 或 davinci,可访问定价页面了解微调费率的详细信息。 开始微调作业后,可能需要一些时间才能完成。工作可能排在其他工作之后,训练模型可能需要几分钟或几小时,具体取决于模型和数据集的大小。若事件流中断,可通过运行特定命令恢复。工作完成后,会显示微调模型的名称。此外,还可以列出现有作业、检索作业状态或取消作业。 GPT 助手的训练: 在有监督的微调阶段,收集少量但高质量的数据集,要求人工承包商收集提示和理想响应的数据,通常是几万个或类似数量。然后对这些数据进行语言建模,算法不变,只是训练集从互联网文档变为问答提示响应类型的数据。训练后得到有监督的微调模型(SFT 模型),可实际部署。 大型语言模型的微调: 一旦有了基础模型,进入计算成本相对较低的微调阶段。编写标签说明,明确助手的表现期望,雇佣人员创建文档,如收集 100,000 个高质量的理想问答对来微调基础模型,此过程可能只需一天。然后进行大量评估,部署模型并监控表现,收集不当行为实例并纠正,将正确答案加入训练数据,重复此过程。由于微调成本较低,可每周或每天进行迭代。 例如 Llama2 系列,Meta 发布时包括基础模型和助手模型。基础模型不能直接使用,助手模型可直接用于回答问题。若想自己微调,Meta 完成的昂贵的第一阶段结果可提供很大自由。
2025-01-06
训练以及部署微调模型
以下是关于训练以及部署微调模型的相关知识: 创建微调模型: 假设您已准备好训练数据,使用 OpenAI CLI 开始微调工作。需指定从哪个 BASE_MODEL 开始,如 ada、babbage、curie 或 davinci,还可使用后缀参数自定义微调模型的名称。运行命令后会进行以下操作: 1. 使用文件 API 上传文件(或使用已上传的文件)。 2. 创建微调作业。 3. 流式传输事件直到作业完成,这通常需要几分钟,但如果队列中有很多作业或数据集很大,则可能需要数小时。每个微调工作都从默认为 curie 的基本模型开始,模型的选择会影响性能和成本,您可访问定价页面了解微调费率的详细信息。开始微调作业后,可能需要一些时间才能完成,若事件流中断,可通过运行特定命令恢复。工作完成后,会显示微调模型的名称。此外,还可以列出现有作业、检索作业状态或取消作业。 GPT 助手的训练: 在有监督的微调阶段,收集少量但高质量的数据集,要求人工承包商收集提示和理想响应的数据,通常是几万个或类似数量。然后对这些数据进行语言建模,算法不变,只是训练集从互联网文档变为问答提示响应类型的数据。训练后得到有监督的微调模型(SFT 模型),可实际部署,它们在某种程度上是有用的。 大型语言模型的微调: 一旦有了基础模型,就进入计算成本相对较低的微调阶段。在这个阶段,编写标签说明明确助手的表现期望,雇佣人员创建文档,例如收集 100,000 个高质量的理想问答对来微调基础模型,这个过程可能只需一天。然后进行大量评估,部署模型并监控表现,收集不当行为实例并纠正,将正确答案加入训练数据,由于微调成本较低,可每周或每天进行迭代。例如 Llama2 系列,Meta 发布时包括基础模型和助手模型,基础模型不能直接使用,助手模型可直接用于回答问题。
2025-01-06
模型的部署、容器化
以下是关于模型的部署和容器化的相关内容: ComfyUI ollama 本地大模型部署: 1. 先下载 ollama 安装,安装完成后可在电脑桌面右下角或隐藏图标中找到。 2. 下载对应的模型,选择模型并复制对应的命令。 3. 打开命令行界面,输入对应的模型获取命令,等待下载完成。 4. 下载的模型会保存到 D:\\ollama\\blobs 目录。 5. Docker 安装时会下载一些文件,安装后更改目录,不要放在 C 盘。 6. Open webui 安装,输入相关命令,安装成功后回到 docker,点击会自动打开网页,第一次使用需注册账号,选择下载好的模型即可开始使用。 7. 若出现端口占用问题,运行特定两条命令可解决。 8. 相关链接: comfyuiollama:https://github.com/stavsap/comfyuiollama?tab=readmeovfile Ollama:https://ollama.com/ docker:https://www.docker.com/ Open webui:https://openwebui.com/ 模型部署: 1. 选择学习路径: 快速上手 使用 Anaconda: 前提条件:确保安装了 Python 3.10 以上版本。 准备环境:如需设置环境,安装所需软件包,运行特定命令。 下载模型:可从下载 Atom7BChat 模型。 进行推理:创建名为 quick_start.py 的文件,复制相关内容并运行代码。 快速上手 使用 Docker:详情参见,包括准备 docker 镜像,通过 docker 容器启动,通过 dockercompose 启动 chat_gradio。 快速上手 使用 llama.cpp:详情参见。 快速上手 使用 gradio:基于 gradio 搭建问答界面,实现流式输出,复制相关代码到控制台运行,不同模型修改 model_name_or_path 对应的模型名称。 ComfyUI FLUX: 1. 模型的安装部署: 模型:FLUX.1、FLUX.1,建议选择 dev 版本,显卡可以的用 fp16,显卡不够用的选 fp8。模型下载后放入 ComfyUI/models/unet/文件夹中。若爆显存,“UNET 加载器”节点中的 weight_dtype 可设置为 fp8 降低显存使用量,但可能稍降质量。 clip:t5xxl_fp16.safetensors 和 clip_l.safetensors 放在 ComfyUI/models/clip/文件夹里,也可用 t5xxl_fp8_e4m3fn.safetensors 降低内存使用率,有超过 32GB 内存建议用 fp16。 Vae:下载后放入 ComfyUI/models/vae 文件夹。 2. T5(/t5xxl_fp16.safetensors)的这个 clip 原本有输入输出,可能会导致提示词被吞,短提示效果差,训练 flux 或 sd3 时应尽量用长提示词或自然语言。
2025-01-06