Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

在comfyUI中可以接入哪些api，又和3D相关的吗

Answer

在 ComfyUI 中可以接入以下与 3D 相关的 API：

  1. @CSM_ai：可以将文本、图像或草图转换为 3D 素材，并直接应用于游戏中，无需后期处理。体验地址：https://cube.csm.ai ，https://x.com/xiaohuggg/status/1763758877999587757?s=20
  2. Move AI 推出的 Move API：可以从 2D 视频生成 3D 运动数据，支持多种 3D 文件格式导出，为 AR 应用、游戏开发等提供高质量 3D 运动数据。链接：https://move.ai/api ，https://x.com/xiaohuggg/status/1761590288576061573?s=20
  3. ComfyUI 3D Pack 引入 3D 图像处理：可以快速将图片转换为 3D 模型，支持多角度查看，使用 3D 高斯扩散技术提升模型质量，支持多种格式导出，集成先进 3D 处理算法。链接：https://github.com/MrForExample/ComfyUI-3D-Pack/tree/main ，https://x.com/xiaohuggg/status/1755824687811346514?s=20

此外，ZHO 博主有关于 ComfyUI 的更新记录：

  1. 4 月 18 日，ComfyUI Stable Diffusion 3 API 已更新为 V1.5 版，图生图和 SD3 Turbo 都可以正常使用，但 SD3 图生图模式不支持选择比例，SD3 Turbo 模型不支持负面提示词。使用方法是先申请 API，然后填入 config.json 文件即可（每账户 25 免费积分），SD3 每张图 6.5 积分（比较贵）。项目地址：https://github.com/ZHO-ZHO-ZHO/ComfyUI-StableDiffusion3-API ，SD3 API ComfyUI 节点测试成功。
  2. 4 月 17 日，Stability AI 刚刚发布了 Stable Diffusion 3 和 Stable Diffusion 3 Turbo，现在已经可通过 Stability AI 开发者平台 API 使用，SAI 计划在不久的将来通过会员资格提供模型权重。详情：https://bit.ly/3W43FjY
Content generated by AI large model, please carefully verify (powered by aily)

References

工具汇总：AI生成3D模型工具介绍

5⃣️🎮@CSM_ai：文本、图像或草图转换为3D素材直接应用于游戏中，无需后期处理视频演示了在ROBLOX游戏中的应用🔗体验地址：https://cube.csm.ai🔗https://x.com/xiaohuggg/status/1763758877999587757?s=205⃣️🏃Move AI推出Move API：从2D视频生成3D运动数据支持多种3D文件格式导出为AR应用、游戏开发等提供高质量3D运动数据🔗https://move.ai/api🔗https://x.com/xiaohuggg/status/1761590288576061573?s=203⃣️🖼️ComfyUI 3D Pack引入3D图像处理:快速将图片转换为3D模型，支持多角度查看。使用3D高斯扩散技术提升模型质量。支持多种格式导出，集成先进3D处理算法。🔗https://github.com/MrForExample/ComfyUI-3D-Pack/tree/main🔗https://x.com/xiaohuggg/status/1755824687811346514?s=202⃣️👨⚕️Medivis的SurgicalAR手术应用：将2D医疗图像转化为3D互动视觉，提高手术精度。支持3D模型的放大、缩小、旋转，精确手术计划。🔗https://t.co/3tUvxB0L4I🔗https://x.com/xiaohuggg/status/1755183564021473404?s=20

comfyui SD3

[heading3](b)一个MM-DiT模块的详细结构[content]1.y（输入向量）：输入到模块中的向量。2.SiLU（激活函数）：使用SiLU激活函数对输入向量进行处理。3.Linear（线性变换）：对激活后的向量进行线性变换。4.Layernorm（层归一化）：对线性变换后的向量进行层归一化处理。5.α_c和β_c（调制参数）：调制输入向量的参数。6.Q、K、V（查询、键和值）：注意力机制中的查询、键和值。7.Attention（注意力机制）：通过注意力机制关注输入数据中最相关的信息。8.Layernorm（层归一化）：在注意力机制后再次进行层归一化处理。9.γ_e和ε_e（调制参数）：调制输出向量的参数。10.MLP（多层感知器）：对注意力机制后的数据进行进一步处理。11.+（加法操作）：将处理后的数据与输入数据相加，形成反馈环。12.Output（输出）：模块输出，供下一层使用。

爆肝博主 ZHO

[heading2]4月18日[content]【Zho】ComfyUI Stable Diffusion 3 API已更新为V1.5版：图生图和SD3 Turbo都可以正常使用了！注意：1）SD3图生图模式不支持选择比例2）SD3 Turbo模型不支持负面提示词【Zho】🤣来了朋友们！Stable Diffusion 3（API）已经可以在ComfyUI中使用了！✅目前支持多种比例的SD3文生图（turbo和图生图还调试中）🚗使用方法：先申请API，然后填入config.json文件即可（每账户25免费积分），SD3每张图6.5积分（比较贵）项目地址：https://github.com/ZHO-ZHO-ZHO/ComfyUI-StableDiffusion3-APISD3 API ComfyUI节点测试成功[heading2]4月17日[content]卧槽！！！！！！SD3率先通过API来了！！！！！！！！！！！Stability AI刚刚发布了Stable Diffusion 3和Stable Diffusion 3 Turbo！现在已经可通过Stability AI开发者平台API使用SAI计划在不久的将来通过会员资格提供模型权重详情：https://bit.ly/3W43FjY

Others are asking
国内coze调用api的例子
以下是国内 Coze 调用 API 的一些例子： 1. 通过已有服务 API 创建插件： 进入 Coze 个人空间，选择插件，新建一个插件并命名，如 api_1。 在插件的 URL 部分，填入 Ngrok 随机生成的 https 链接地址。 按照 Coze 的指引配置输出参数，测试后发布插件。 2. 手捏简单的 Bot 并接入创建的插件：创建测试 API 的 Bot，将创建的 api_1 插件接入，在 prompt 里让其调用插件。 3. 测试 AI Bot 时可能遇到的情况：Coze 国内版刚发布不久，有些官方和第三方插件的 API 调用和返回结果不太稳定，可能出现回答不完整的情况，但相信官方会尽快解决。 4. 获取 Coze 的 accessToken 和 botid： 获取 accessToken：在 Coze 界面右侧扣子 API 授权，或者打开链接 https://www.coze.cn/open/oauth/pats，添加令牌，设置名称、过期时间和权限，完成后点击确定按钮并复制下拉令牌。 获取 botid：通过工作空间获取，从“工作空间”打开一个 bot，点击商店按钮查看地址栏中的数字即为 botid。 发布为 bot api：注意在前端使用 bot 必须发布成为 API，点击发布并选择 API，等待审核通过后可按上述方法拿到 botid。 获取空间 id：进入 Coze 后，左边打开工作空间，找到 url 中的 id 并复制。
2025-01-12
如何通过程序代码调用coze的api?
要通过程序代码调用 Coze 的 API，大致步骤如下： 1. 创建一个插件： 填入插件名和插件描述。 选择云侧插件作为创建方式。 选择 Python 作为 IDE 运行时。 点击【在 IDE 中创建工具】。 在创建工具面板里： 填入工具名称。 填入工具介绍。 2. API 接入相关操作： Glif 允许通过 API 调用平台上的应用，API 接入：https://docs.glif.app/api/gettingstarted 。 去创建一个新的 Token 并复制备用。 将自己发布的 glif 链接上的 id 复制备用。 3. 在 Coze 的 IDE 中： 引入依赖和编写 handler 方法。 代码中对应的数据字段在元数据 Tab 中设置： 填写入参字段和描述，对完整链接要写清楚。 填写出参字段。 左侧的依赖包添加【requests】。 填入测试数据运行，测试通过后即可发布。 4. 创建一个 Bot，挂载新创建的插件，在 Prompt 中做一些对入参的校验和约束。 5. 测试从 Coze 调用 Glif 功能跑通，发布 Coze。 另外，获取 Coze 的 accessToken 和 botid 时，需要了解以下内容： 1. OAuth 授权的范围控制： 个人空间：访问个人创建的 bot。 团队空间：可以跨账号授权，比如让其他团队成员访问你创建的 bot。 2. 跨账号授权流程： 用户 A 在用户 B 的团队空间创建了 bot。 用户 A 要使用这个 bot，需要： 先让空间所有者安装这个 OAuth 应用。 然后用户 A 才能获取授权码访问其在该团队空间创建的 bot。 3. OAuth 和 PAT的主要区别： OAuth token 有效期更短，安全性更高。 OAuth 可以实现跨账号的授权。 PAT 只能访问个人的资源。 在 Coze 中用现有服务创建自己的 plugin 时： 1. 进入 Coze，在个人空间中选择插件，新建一个插件，起名并填写描述。 2. 在插件的 URL 部分，填入 Ngrok 随机生成的 https 的链接地址。 3. 配置输出参数。 4. 测试后发布插件。 5. 创建 Bot 并接入创建的插件，在 prompt 中设置调用插件的相关要求。
2025-01-12
如果通过程序调用coze的api?
要通过程序调用 Coze 的 API，您需要以下步骤： 1. 获取 accessToken： 在 Coze 界面右侧扣子 API 授权，或者打开链接 https://www.coze.cn/open/oauth/pats 。 找到“个人访问令牌”，添加令牌。设置令牌的名称和过期时间（最多 1 个月），并选择权限。 完成后点击“确定”按钮，一定要点击按钮复制下拉获取令牌，因为该令牌只会出现一次。 2. 获取 botid： 通过工作空间获取，从“工作空间”打开一个 bot，点击商店按钮，查看地址栏中的数字即为 botid。 注意：如果要在前端使用 bot，必须将其发布成为 API，点击发布并选择 API，等审核通过后即可按上述方法拿到 botid。 3. 获取空间 id：进入 Coze 后，左边打开工作空间，找到 url 中的 id 并复制出来。 此外，OAuth 授权的范围控制包括个人空间和团队空间。个人空间可访问个人创建的 bot，团队空间可以跨账号授权。OAuth 和 PAT（个人访问令牌）的主要区别在于 OAuth token 有效期更短、安全性更高且可以实现跨账号授权，而 PAT 只能访问个人的资源。 如果要将 Glif 的功能通过 API 方式接入 Coze，步骤如下： 1. 先创建一个插件： 填入插件名和插件描述。 创建方式选择云侧插件。 IDE 运行时选择 Python，点击【在 IDE 中创建工具】。 在创建工具面板里：填入工具名称和工具介绍。 2. 进行相关设置： 去创建一个新的 Token 并复制备用。 将自己发布的 glif 链接上的 id 复制备用。 在 Coze 的 IDE 中引入依赖（如 requests）和编写 handler 方法。 在代码中对应的数据字段在元数据 Tab 中设置，包括填写入参字段和描述、出参字段等。 3. 填入测试数据运行，测试通过后即可发布。创建一个 Bot，挂载新创建的插件，在 Prompt 中做一些对入参的校验和约束。最后，测试从 Coze 调用 Glif 功能跑通，发布 Coze。
2025-01-12
AI换衣API推荐， 并多维度对比，选择最适合的API推荐给我
以下为您推荐的 AI 换衣相关的 API 并进行多维度对比： Comfyui_Object_Migration： 特点：可高精度迁移服装样式到目标人物图像，保持高一致性和细节完整性，支持从卡通到写实的风格互相转换，甚至可将平面角色图像转换为可 3D 打印的模型。 应用场景：虚拟角色服装设计迁移到真实照片、为动画角色添加写实服装、微调权重生成独特服装设计。 详细介绍及教程： GitHub： 在选择适合的 AI 大模型 API 服务时，需要考虑以下因素： 对于像开发 AI Share Card 插件这类情况，如果将模板生成功能设计为固定的代码组件，让大模型专注于内容总结的功能，那么对模型的要求就不会过高。 选型要求包括：较长的上下文窗口，因为内容总结类任务需要较大的上下文长度；响应速度要快、并发支持要高，以在多人使用插件时保持良好性能；免费或尽量低价，以减少模型 token 费用。例如，AI Share Card 选用的是 GLM4flash（截至 202412，长达 128k 的上下文窗口，完全免费的调用价格，200 RPM 高并发支持）。
2025-01-08
数字人api
以下是关于数字人 API 的相关信息： HeyGen 开放数字人 API，提供虚拟人制作、视频翻译和互动虚拟人等功能，可应用于在线营销、客户支持、培训教程等多场景，助力打造全球化、多语言互动数字体验。相关链接： 出门问问提供语音合成（TTS）API，接口请求域名：https://open.mobvoi.com/api/tts/v1，接口请求频率限制为 5 次/秒。其语音合成技术可以将任意文本转化为语音，应用场景广泛，如视频 APP 配音解说、小说 App 有声阅读等，并提供多种方言和风格。请求参数方面，HTTP Method 支持 POST 请求。 如果您对 ComfyUI 部署不了解，但想体验并使用数字人照片的驱动及 AI 配音，可以微信搜索「奇妙元」「魔音工坊」，或扫描二维码。若在实操中遇到报错问题，如打开 ComfyUI 调用 api 的节点丢失爆红，需检查是否下载了 api 节点的包，放进 node 里再试试；若输出节点框显示 404，可查看 text 文字情况，也可以获取生成的链接，从浏览器的页面打开即可下载。目前发现官方的 python311 版本和节点有安装依赖冲突，若节点正确放到节点文件夹仍然爆红请使用 python310 运行安装环境依赖。若使用 310 仍然爆红，可以联系 Wechat：9755294（备注 ComfyUI）。
2025-01-08
文生图 api
以下是关于文生图 API 的相关信息： 10 月 AI 行业大事记中，LiblibAI 开放了全新生图 API。 文生图的简易上手教程如下： 定主题：明确生成图片的主题、风格和要表达的信息。 选择 Checkpoint：根据主题选择贴近的模型，如麦橘、墨幽的系列模型。 选择 lora：寻找与生成内容重叠的 lora 以控制图片效果和质量。 设置 VAE：通常选择 840000 即可。 CLIP 跳过层（Liblibai 中）：设为 2。 Prompt 提示词：用英文写想要生成的内容，以单词和短语组合，用英文半角逗号隔开，无需考虑语法和长句。 负向提示词 Negative Prompt：同样用英文单词和短语组合，隔开方式相同，写明想要避免生成的内容。 采样方法：一般选 DPM++2M Karras 较多，也可参考模型作者推荐的采样器。 采样次数/迭代步数：选 DPM++2M Karras 时，通常在 30 40 之间，过多意义不大且慢，过少出图效果差。 尺寸：根据个人喜好和需求选择。 生成批次（Liblibai 中）：默认 1 批。 对于 ControlNet 和局部重绘，可后续再学习。
2025-01-07
在comfyUI中可以接入哪些节点
在 ComfyUI 中可以接入以下类型的节点： 1. 输入节点： 文本提示节点：用于输入生成图像的文本描述。 图像输入节点：用于输入基础图像进行二次生成。 噪声节点：用于输入初始噪声图像。 2. 处理节点： 采样器节点：选择图像生成所使用的采样器。 调度器节点：选择图像生成所使用的调度器。 CFG Scale 节点：调整引导式采样的强度。 步数节点：设置图像生成的迭代步数。 3. 输出节点： 图像输出节点：显示生成的最终图像。 4. 辅助节点： 批处理节点：支持批量生成多个图像。 图像变换节点：提供图像旋转、翻转等功能。 图像融合节点：可以将多个图像合并成一个。 此外，还有一些特定的节点插件，如： 1. PuLID 节点插件： model：使用预训练的基础文本到图像扩散模型，如 Stable Diffusion。 pulid：加载的 PuLID 模型权重，定义 ID 信息如何插入基础模型。 eva_clip：用于从 ID 参考图像中编码面部特征的 EvaCLIP 模型。 face_analysis：使用 InsightFace 模型识别和裁剪 ID 参考图像中的面部。 image：提供的参考图像用于插入特定 ID。 method：选择 ID 插入方法，如“fidelity”（优先保真度）、“style”（保留生成风格）和“neutral”（平衡两者）。 weight：控制 ID 插入强度，范围为 0 到 5。 start_at 和 end_at：控制在去噪步骤的哪个阶段开始和停止应用 PuLID ID 插入。 attn_mask：此选项用于提供灰度掩码图像，以控制 ID 自定义的应用位置，但并不是必需输入，而是可选输入。 Advanced Node：提供了高级节点，可以通过调整 fidelity 滑块和 projection 选项进行更精细的生成调优。 2. 中文提示词输入相关节点： 安装完成后，在【新建节点】【Alek 节点】下，有【预览文本】、【绘画】、【姿态】、【clip 文本编码器】和【翻译文本】这五个节点。 【clip 文本编码器（翻译）】可代替自带的【clip 文本编码器】，直接输入中文。但引用负向 embedding 时，文件夹路径不能有中文。 【翻译文本】节点可代替【元节点】，在 sdxl 流程中，当需要将文本信息单独列出来时使用。 【预览文本】节点可连接到【翻译文本】检查翻译是否正确。 如果翻译失效，可双击“embedded_instail”进行安装，然后用记事本打开 BaiduTranslate.py，填入在百度翻译开发平台申请的 ID 和密码，即可正常翻译。
2025-01-14
可以把tripo的节点接入comfyui吗
要将 tripo 的节点接入 ComfyUI，您可以参考以下步骤： 1. 确保后面有一个空格。然后将 requirements_win.txt 文件拖到命令提示符中（如果您在 Windows 上；否则，选择另一个文件 requirements.txt）。拖动文件将在命令提示符中复制其路径。 2. 按 Enter 键，这将安装所有所需的依赖项，使其与 ComfyUI 兼容。请注意，如果为 Comfy 使用了虚拟环境，必须首先激活它。 3. 在使用自定义节点之前，有一些要注意的事项： 您的图像必须放在一个以命名的文件夹中。那个数字很重要：LoRA 脚本使用它来创建一些步骤（称为优化步骤…但别问我是什么^^’）。它应该很小，比如 5。然后，下划线是必须的。 对于 data_path，您必须写入包含数据库文件夹的文件夹路径。例如：C:\\database\\5_myimages ，您必须写 C:\\database 。 Python 在这里需要斜杠，但节点会自动将所有反斜杠转换为斜杠。文件夹名称中的空格也不是问题。 4. 参数方面： 在第一行，您可以从 checkpoint 文件夹中选择任何模型。然而，据说您必须选择一个基本模型进行 LoRA 训练。 您选择一个名字为您的 LoRA，如果默认值对您不好，就更改这些值（epochs 数应该接近 40），然后启动工作流程！ 5. 一旦您点击 Queue Prompt，所有事情都会在命令提示符中发生。 6. 建议与字幕自定义节点和 WD14 标签一起使用。但请注意，在制作字幕时禁用 LoRA 训练节点。因为 Comfy 可能会在制作字幕之前启动训练。 7. 关于 Tensorboard：训练会在 log 文件夹中创建一个日志文件，该文件夹会在 Comfy 的根文件夹中创建。该日志可能是一个可以在 Tensorboard UI 中加载的文件。 ComfyUI 的核心是其节点式界面，节点类型包括输入节点（如文本提示节点、图像输入节点、噪声节点）、处理节点（如采样器节点、调度器节点、CFG Scale 节点、步数节点）、输出节点（如图像输出节点）、辅助节点（如批处理节点、图像变换节点、图像融合节点）。用户可以通过拖放和连接各种节点来创建自定义的图像生成工作流，还可以创建自定义节点来扩展功能，自定义节点安装目录为 D:\\ComfyUI\\custom_nodes 。ComfyUI 还提供了丰富的节点管理功能，包括保存/加载节点图、复制/粘贴节点、批量编辑等。
2025-01-14
ComfyUI 万物迁移工作流
ComfyUI BrushNet： 项目链接： 原项目：https://tencentarc.github.io/BrushNet/ 插件地址：https://github.com/kijai/ComfyUIBrushNetWrapper 模型下载：https://huggingface.co/Kijai/BrushNetfp16/tree/main 第一次运行会自动下载需要的模型，如果是用的 ComfyUIBrushNetWrapper 节点，模型将自动从此处下载：https://huggingface.co/Kijai/BrushNetfp16/tree/main 到 ComfyUI/models/brushnet，因环境问题，也可手动下载放在这个文件夹里。另外，BrushNet 提供了三个模型，个人测试下来，random 这个效果比较好。 工作流：配合 mj 出底图，在底图不变的基础上，添加文字或者图片内容。另外可以使用 GDinoSAm（GroundingDino+Sam），检测和分割底图上的内容，做针对性的修改。 4SeasonYou 工作流副本： 一、加载模型部分（总文件有） 官网下载两个文件。 先点击如图中的左上角部分将加载器展开且选择官网下载好的两个模型，否则将会有以下的问题。 GDino 加载器部分：在链接：处下载以下文件。 然后再次检查自己的文件有没有齐全：在 models 下创建 groundingdino 且配置以下文件命名齐全。同理，sams 也是。对于 groundingdino 和 sams 配置有没有齐全可以使用“抠头发.json”来检验。 然后，接下来很大概率在运行到此节点时会报科学上网的（httpsxxxxx）错误。倘若觉得在此工作流中排除 bug 很慢，不妨使用此网址的工作流（可以直接复制他的 json 内容自己创建一个 txt 文件后粘贴，再改后缀名为 json。）进行操作：。那么就要在尝试稳定的科学上网后重启 UI 跑工作流。
2025-01-14
comfyUI 工作流
ComfyUI 工作流主要包括以下内容： 低显存运行工作流：目的是让 FLUX 模型能在较低显存情况下运行。分阶段处理思路为，先在较低分辨率下使用 Flux 模型进行初始生成，然后采用两阶段处理，即先用 Flux 生成，后用 SDXL 放大，有效控制显存使用，最后使用 SD 放大提升图片质量。工作流流程包括初始图像生成（Flux），涉及 UNETLoader 加载 flux1dev.sft 模型、DualCLIPLoader 加载 t5xxl 和 clip_l 模型、VAELoader 加载 fluxae.sft 等步骤，以及图像放大和细化（SDXL），包括加载 SDXL 模型、放大模型等步骤。 工作流网站： “老牌”workflow 网站 Openart.ai，流量较高，支持上传、下载、在线生成，免费账户有 50 个积分，加入 Discord 可再加 100 积分，开通最低每月 6 美元套餐后每月有 5000 积分，网址为 https://openart.ai/workflows/ 。 ComfyWorkflows 网站，支持在线运行工作流，从实际下载量和访问量来看略少于 openart，网址为 https://comfyworkflows.com/cloud 。 Flowt.ai，网址为 https://flowt.ai/community 。 相关介绍： RPA 很早就出现在工作流编排领域，目标是使符合某些适用性标准的基于桌面的业务流程和工作流程实现自动化。 ComfyUI 将开源绘画模型 Stable Diffusion 进行工作流化操作，提高了流程的可复用性，降低了时间成本，其 DSL 配置文件支持导出导入。 Dify.AI 的工作流设计语言与 ComfyUI 有相似之处，都定义了一套标准化的 DSL 语言，方便导入导出进行工作流复用。 Large Action Model 采用“通过演示进行模仿”的技术，从用户提供的示例中学习。但 Agentic Workflow 存在使用用户较少、在复杂流程开发上不够稳定可靠等问题，同时提出通过自然语言创建工作流的想法。
2025-01-13
comfyui安装
ComfyUI 的安装方式主要有以下几种： 1. 本地安装： 命令行安装：这是普适性最强的方法，安装后二次遇到问题的概率相对较低，但对于不熟悉命令行及代码的用户有一定门槛。ComfyUI 的源码地址在 https://github.com/comfyanonymous/ComfyUI ，安装方法写在了 Readme 中，您也可以按照 Readme 文档进行操作。 安装包安装：这种方法安装比较简单，下载就能用。ComfyUI 的官方安装包目前仅支持 Windows 系统，且显卡必须是 Nivida。下载地址是 https://github.com/comfyanonymous/ComfyUI/releases ，您只需下载最新的版本，解压就能使用。 2. 云端安装：云端配置相对较高，生成图片的速度会更快，但需要一定的费用。如果您想在云端安装，可以跳到 https://www.comflowy.com/zhCN/preparationforstudy/installcloud 。 在进行本地安装之前，还需要安装一些环境： 1. 依次下载并安装 Python（版本 3.10 以上）、VSCode、Git，安装过程中一直点击勾选对应选项，一直下一步。 Python 安装包： VSCode 安装包： Git 安装包： 安装 ComfyUI 时，您可以通过以下方式： 下载安装包或者点击链接 https://github.com/comfyanonymous/ComfyUI 下载并解压至本地除 C 盘外的任意盘。然后找到文件名称为 run_nvidia_gpu 的文件双击并启动。启动完成即进入基础界面。 此外，ComfyUI 的节点包括后面安装的拓展节点都存放在 D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\custom_nodes 目录下。 大模型存放在 D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\checkpoints ，Lora 存放在 D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\loras ，Vae 存放在 D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\vae 。 已经安装了 SDWebUI 的同学可以通过修改文件路径和 WebUI 共用一套模型即可，这样就不用重复下载模型了。找到您已经安装好的 ComfyUI 目录文件下的 extra_model_paths.yaml.example 文件，将后缀.example 删除，然后右键用记事本打开。
2025-01-12
Comfyui教程
以下是一些关于 ComfyUI 的教程资源： 1. ComfyUI 官方文档：提供了使用手册和安装指南，适合初学者和有经验的用户。可在获取相关信息。 2. 优设网：有详细的 ComfyUI 入门教程，适合初学者，介绍了特点、安装方法及生成图像等内容。教程地址是。 3. 知乎：有用户分享了 ComfyUI 的部署教程和使用说明，适合有一定基础并希望进一步了解的用户。可在找到相关教程。 4. Bilibili：提供了从新手入门到精通各个阶段的一系列视频教程，能更直观地帮助学习。可在找到。 此外，还有以下教程： 1. 一个全面的 ComfyUI 教程：https://www.comflowy.com/zhCN 2. 超有意思的 ComfyUI 教程：https://comfyanonymous.github.io/ComfyUI_tutorial_vn/ ComfyUI 基础教程中关于 KSampler 的部分： KSampler 即采样器，包含以下参数： 1. seed：随机种子，用于控制潜空间的初始噪声。若要重复生成相同图片，需种子和 Prompt 相同。 2. control_after_generate：设置每次生成完图片后 seed 数字的变化规则，有 randomize（随机）、increment（递增 1）、decrement（递减 1）、fixed（固定）。 3. step：采样的步数。一般步数越大效果越好，但与使用的模型和采样器有关。 4. cfg：一般设置在 6 8 之间较好。 5. sampler_name：可通过此设置采样器算法。 6. scheduler：调度器控制每个步骤中去噪的过程，可选择不同调度算法。 7. denoise：表示要增加的初始噪声，文生图一般默认设置为 1。 请注意，内容由 AI 大模型生成，请仔细甄别。
2025-01-11
如何把多个大模型接入一个智能体？
要将多个大模型接入一个智能体，可以参考以下步骤： 1. 理解相关概念： 统辖：是一种广义的包含关系，指普遍性理念或法则对个别事物的包容或管辖。 抽象：从具体事物中提取共同特性，形成概念。 演绎：通过逻辑推理从已知推导出新知识。 反应：对外界刺激或输入的回应或改变。 2. 统辖 prompt：在 prompt 工作流中设置普遍性、统一性或支配性原则，影响其他 prompt 的状态或行为，例如设置统一监督者角色评判其他模块，让大模型注意力集中在特定话题上以提高推理能力。 3. 利用阿里云百炼： 步骤一：创建智能体应用 进入百炼控制台中“我的应用”，单击新增应用，在智能体应用页签，单击直接创建。若之前已创建过应用，则单击右上角的新增应用。控制台页面链接：https://bailian.console.aliyun.com/?spm=5176.29619931.J__Z58Z6CX7MY__Ll8p1ZOR.1.2f3e59fciQnmL7/home 进入智能体应用管理界面后，选择大模型并进行参数配置，例如选择通义千问Max，可根据需求配置模型参数。 测试智能体应用：选择大模型后，可输入问题进行测试。 4. 在网站上增加一个 AI 助手： 创建大模型问答应用：通过创建百炼应用获取大模型的推理 API 服务。 进入百炼控制台的，在页面右侧点击新增应用，选择智能体应用并创建。在应用设置页面，模型选择通义千问Plus，其他参数保持默认，也可输入一些 Prompt 设定人设。在页面右侧提问验证模型效果，点击右上角发布。 获取调用 API 所需的凭证：在我的应用>应用列表中查看所有百炼应用 ID 并保存，在顶部导航栏右侧点击人型图标，点击 APIKEY 进入我的 APIKEY 页面，创建新 APIKEY 并保存。
2025-01-10
飞书如何接入大模型？
飞书接入大模型的步骤如下： 1. 搭建，用于汇聚整合多种大模型接口，并获取白嫖大模型接口的方法。 2. 搭建作为知识库问答系统，将知识文件放入其中，并接入上面的大模型。如果不想接入微信，搭建到这里即可，它有问答界面。 3. 搭建接入微信，并配置FastGpt将知识库问答系统接入微信。建议先用小号以防封禁风险。完成上述3步即可。 另外，对于将相关内容发布到飞书： 1. 目标是发布到飞书并在飞书中调用。 2. 尝试发布，在页面右上角点击发布，若飞书未授权则点击配置，然后再次点击发布。 3. 发布成功后可在飞书工作台中找到并使用。但可能存在与所说步骤不完全一致的情况，可通过workflow解决。 对于重度用户，工作流的最好教程参见官方文档：https://www.coze.cn/docs/guides/welcome 。工作流可以解决大模型调用写邮件插件时可能出现的速度慢和可能出错等问题，例如采取工作流+代码的组合方法，将用户原始输入直接传送给插件WebPilot，并通过另一个工作流AI Project进行样式注入等。
2025-01-07
如何接入大模型
接入大模型的方法如下： 1. 阿里云百炼模型： 注册阿里云账号：如果没有阿里云账号，您需要先。 开通百炼：前往，若页面顶部显示相关消息，需开通百炼的模型服务以获得免费额度。 获取 API Key：在控制台的右上角选择 APIKEY，然后创建 API Key，用于通过 API 调用大模型。 2. 千问模型： 百炼首页：https://bailian.console.aliyun.com/ 当在 COW 中直接调用千问的某一个大模型时，只需要更改 key 和 model 即可。以调用“qwenmax”模型为例，在/root/chatgptonwechat/文件夹下，打开 config.json 文件，需要更改"model"，和添加"dashscope_api_key"。获取 key 的视频教程：，或查看自己是否已认证。 3. silicon 模型： 官方提供的接入 API 的教学文档：以平时使用的 silicon 接口为例，有众多开源模型（Yi、Qwen、Llama、Gemma 等）免费使用。另赠送 14 元体验金，有效期未知，是个人认为 API 接口最方便最实惠的接口了。 silicon 注册和使用地址：邀请码：ESTKPm3J（谢谢支持）注册登录后，单击左边栏的 API 密钥，单击新建 API 密钥，单击密钥即可完成 API 密钥的复制。silicon 支持多种大模型，也支持文生图、图生图、文生视频，可自行探索。这一步得到 silicon 的密钥即可，我们可以调用千问 2.5 的这个模型，满足日常对话完全没有问题，并且是免费调用的。 进入 github 复制 migpt 项目：打开官方仓库：https://github.com/idootop/migpt，Fork 项目到自己的账号。单击 Fork，单击右下角 Create fork，这样就已经把该项目 fork 到自己的仓库中了。找自己仓库项目的方法：进入主页，单击左上角的"三"，单击 home，就可以看到刚才 fork 过来的 migpt 项目了，单击可进入项目页面。复制仓库地址：先确认是否在自己的仓库项目页面，再单击绿色的“code”按钮，再点击地址栏的复制按钮。
2025-01-04
Coze Agent接入个人微信
Coze 是一个 AI 智能体创作平台，可以根据需求构建多个 AI 机器人并发布到多种社交平台。微信作为多功能社交平台，其不同功能与 Coze 平台的对接情况有所不同。个人微信和微信群是日常常用的聊天工具，但此前 Coze 平台不支持直接对接。不过，Coze 国内版已正式发布 API 接口功能，使得对接个人微信甚至微信群成为可能。作者安仔分享了如何使用 Coze AI 机器人对接微信群，以回复个人或群组小伙伴的信息，解决社群运营问题。此外，如果对学习 Coze 和 AI Agent 有兴趣，可以加入作者的免费 AI Agent 共学群，通过搜索微信号 Andywuwu07 或扫描二维码加微信，备注 AI 共学即可。
2025-01-02
有没有multi agent相关项目可以推荐一下吗
以下是为您推荐的一些与 multi agent 相关的项目： 1. 《Multi Agent 策略架构基础（1）》：https://waytoagi.feishu.cn/record/1sfvunQZGoT5vB2r29i9PWi6W ，其中介绍了有代表性的 Multi Agent demo 项目包括 AutoGPT、Smallville 小镇和面壁智能 ChatDev，探讨了 Multi Agent 领域的相关内容以及其面临的挑战和限制。 2. 吴恩达最新演讲中提到的清华面壁智能的开源项目 ChatDev，展示了多智能体协作的场景，如不同身份的智能体合作开发小游戏。 此外，为您补充一些关于 multi agent 的知识： 多智能体（MultiAgent）是由多个自主、独立的智能体（Agent）组成的系统。每个智能体都能感知环境、决策并执行任务，且它们之间能信息共享、任务协调与协同行动以实现整体目标。 随着大型语言模型（LLM）的出现，以 LLM 为核心构建的 Agent 系统受广泛关注。目前常见框架集中在单 Agent 场景，其核心是 LLM 与工具协同配合，可能需与用户多轮交互。而多 Agent 场景为不同 Agent 指定角色，通过协作完成复杂任务，与用户交互可能减少。 构建多 Agent 框架主要组成部分包括： 环境（environment）：所有 Agent 处于同一环境，环境包含全局状态信息，Agent 与环境有信息交互与更新。 阶段（stage）：采用 SOP 思想将复杂任务分解为多个子任务。 控制器（controller）：可以是 LLM 或预先定义好的规则，负责环境在不同 Agent 和阶段之间切换。 记忆：在多 Agent 框架中，由于 Agent 数量增多，消息数量及每条消息需记录的字段也相应增加。
2025-01-14
神经网络相关书籍推荐
以下是为您推荐的神经网络相关书籍： 1. 《这就是 ChatGPT》：作者被称为“在世的最聪明的人”，研究神经网络几十年，创作了 Mathematica、Wolfram 等备受推崇的软件。该书的导读序是美团技术学院院长刘江老师回顾了整个 AI 技术发展的历史，对于了解 AI、大语言模型计算路线的发展，起到提纲挈领的作用。 2. 关于神经网络信念网络方面的研究文献： Gail A.Carpenter and Stephen Grossberg.1988.The ART of Adaptive Pattern Recognition by a SelfOrganizing Neural Network.Computer 21,3,7788. H.Bourlard and Y.Kamp.1988.Autoassociation by multilayer perceptrons and singular value decomposition.Biol.Cybern.59,45,291294. P.Baldi and K.Hornik.1989.Neural networks and principal component analysis:learning from examples without local minima.Neural Netw.2,1,5358. Hinton,G.E.&Zemel,R.S.,Autoencoders,Minimum Description Length and Helmholtz Free Energy.,in Jack D.Cowan;Gerald Tesauro&Joshua Alspector,ed.,‘NIPS’,Morgan Kaufmann,,pp.310. Ackley,D.H.,Hinton,G.E.,&Sejnowski,T.J.,147169. LeCun,Y.,Chopra,S.,Hadsell,R.,Ranzato,M.,&Huang,F..A tutorial on energybased learning.Predicting structured data,1,0. Neal,R.M.,71113. Hinton,G.E.,Dayan,P.,Frey,B.J.,&Neal,R.M.,11581161. 此外，您还可以参考“三本神经科学书籍”，原文地址：https://web.okjike.com/originalPost/64f2b8ff0c915376a20c5d61 作者：
2025-01-14
我该如何了解AI相关的知识 通往AHI之路有手机端吗
以下是一些了解 AI 相关知识的途径： 1. 访问《通往 AGI 之路》知识库，其提供了全面系统的 AI 学习路径，涵盖从常见名词到应用等各方面知识。您可以通过访问。 2. 关注相关的社交媒体账号，如公众号“通往 AGI 之路”、等，获取 AI 消息和知识普及视频。 3. 学习 AE 软件，了解其功能及与 AI 结合运用的方式，比如在 B 站找丰富的入门课程自学，或从包图网下载工程文件学习。 4. 阅读相关的研究报告，如艾瑞的《2024 年移动端 AI 应用场景研究报告》。 另外，《通往 AGI 之路》知识库目前没有手机端。
2025-01-14
长文本生成对应场景的视频，有相关AI软件直接制作完成吗
目前有相关的 AI 软件可以将长文本生成对应场景的视频，以下是具体的制作流程和相关工具： 制作流程： 1. 小说内容分析：使用 AI 工具（如 ChatGPT）分析小说内容，提取关键场景、角色和情节。 2. 生成角色与场景描述：根据小说内容，使用工具（如 Stable Diffusion 或 Midjourney）生成角色和场景的视觉描述。 3. 图像生成：使用 AI 图像生成工具根据描述创建角色和场景的图像。 4. 视频脚本制作：将提取的关键点和生成的图像组合成视频脚本。 5. 音频制作：利用 AI 配音工具（如 Adobe Firefly）将小说文本转换为语音，添加背景音乐和音效。 6. 视频编辑与合成：使用视频编辑软件（如 Clipfly 或 VEED.IO）将图像、音频和文字合成为视频。 7. 后期处理：对生成的视频进行剪辑、添加特效和转场，以提高视频质量。 8. 审阅与调整：观看生成的视频，根据需要进行调整，比如重新编辑某些场景或调整音频。 9. 输出与分享：完成所有编辑后，输出最终视频，并在所需平台上分享。 请注意，具体的操作步骤和所需工具可能会根据项目的具体需求和个人偏好有所不同。此外，AI 工具的可用性和功能也可能会随时间而变化，建议直接访问上述提供的工具网址获取最新信息和使用指南。 相关工具： 1. Pika：擅长动画制作，并支持视频编辑。 网址：https://pika.art/waitlist 2. SVD：如果熟悉 Stable Diffusion，可以直接安装这款最新的插件，在图片基础上直接生成视频。这是由 Stability AI 开源的 video model。 3. Runway：老牌 AI 视频生成工具，提供实时涂抹修改视频的功能，但收费。 4. Kaiber：视频转视频 AI，能够将原视频转换成各种风格的视频。 5. Sora：由 OpenAI 开发，可以生成长达 1 分钟以上的视频。 6. Stable Diffusion（SD）：一种 AI 图像生成模型，可以基于文本描述生成图像。 网址：https://github.com/StabilityAI 7. Midjourney（MJ）：适用于创建小说中的场景和角色图像。 网址：https://www.midjourney.com 8. Adobe Firefly：Adobe 的 AI 创意工具，可以生成图像和设计模板。 网址：https://www.adobe.com/products/firefly.html 9. Clipfly：一站式 AI 视频生成和剪辑平台。 网址：https://www.aihub.cn/tools/video/clipfly/ 10. VEED.IO：在线视频编辑工具，具有 AI 视频生成器功能。 网址：https://www.veed.io/zhCN/tools/aivideo 11. 极虎漫剪：结合 Stable Diffusion 技术的小说推文视频创作提效工具。 网址：https://tiger.easyartx.com/landing 12. 故事 AI 绘图：小说转视频的 AI 工具。 网址：https://www.aihub.cn/tools/video/gushiai/ 更多的文生视频的网站可以查看这里：https://www.waytoagi.com/category/38
2025-01-14
我想全面了解学习 ai 写作步骤相关的知识
以下是全面学习 AI 写作步骤的相关知识： 利用 AI 写课题的步骤： 1. 确定课题主题：明确研究兴趣和目标，选择具有研究价值和创新性的主题。 2. 收集背景资料：使用学术搜索引擎和文献管理软件等 AI 工具搜集相关研究文献和资料。 3. 分析和总结信息：利用 AI 文本分析工具提取关键信息和主要观点。 4. 生成大纲：使用 AI 写作助手生成包括引言、文献综述、方法论、结果和讨论等部分的大纲。 5. 撰写文献综述：借助 AI 工具确保内容准确完整。 6. 构建方法论：根据研究需求，采用 AI 建议的方法和技术设计研究方法。 7. 数据分析：若课题涉及数据，使用 AI 数据分析工具处理和解释。 8. 撰写和编辑：利用 AI 写作工具撰写各部分，并检查语法和风格。 9. 生成参考文献：使用 AI 文献管理工具生成正确格式。 10. 审阅和修改：用 AI 审阅工具检查逻辑性和一致性，根据反馈修改。 11. 提交前的检查：使用 AI 抄袭检测工具确保原创性，进行最后的格式调整。 利用 AI 写行业调研报告的步骤： 1. 让 AI 阅读学习：一篇优秀的行业调研报告，总结方法论，输出研究方法和操作框架。 2. 问 AI：文章收集行业数据时使用的一手和二手数据，推荐靠谱的行业资料收集网站。 3. 要求 AI：参考上述内容，写一份“XXX 行业调研报告”，推荐 10 个“XXX 行业”信息网站和 5 个“XXX 行业”研究微信公众号，并输出框架。 4. 要求 AI：针对框架丰富每一章节内容，每章字数大于 200 字。 5. 完成初稿后，根据需求让 AI 完善章节内容，结合自身经验和知识润色调整。 需要注意的是，AI 工具可作为辅助，但不能完全替代研究者的专业判断和创造性思维。在使用 AI 写作时，应保持批判性思维，确保研究质量和学术诚信。“有深度”可通过自身对行业的了解整理深度洞察和见解，或深度咨询 AI 并借助其知识，边学习、研究、总结。获取操作示例可点击链接： 欢迎交流，共同进步！
2025-01-10
我作为一名OA软件的行业的售前，我的工作中会涉及到AI与OA结合落地的智能化场景，所以我对AI知识有简单的了解，我现在想转型AI行业的售前，我该如何系统的学习AI的相关知识，请帮我制定一个计划
以下是为您制定的从 OA 软件售前转型到 AI 行业售前的系统学习计划： 一、了解 AI 基本概念 首先，建议阅读「」部分，熟悉 AI 的术语和基础概念。了解什么是人工智能，它的主要分支（如机器学习、深度学习、自然语言处理等）以及它们之间的联系。同时，浏览入门文章，这些文章通常会介绍 AI 的历史、当前的应用和未来的发展趋势。 二、开始 AI 学习之旅 在「」中，您将找到一系列为初学者设计的课程。特别推荐李宏毅老师的课程。您还可以通过在线教育平台（如 Coursera、edX、Udacity）上的课程，按照自己的节奏学习，并有机会获得证书。 三、选择感兴趣的模块深入学习 AI 领域广泛，比如图像、音乐、视频等。您可以根据自己的兴趣选择特定的模块进行深入学习。同时，一定要掌握提示词的技巧，它上手容易且很有用。 四、实践和尝试 理论学习之后，实践是巩固知识的关键。尝试使用各种产品做出您的作品。在知识库提供了很多大家实践后的作品、文章分享，欢迎您实践后的分享。 五、体验 AI 产品 与现有的 AI 产品进行互动是学习 AI 的另一种有效方式。尝试使用如 ChatGPT、Kimi Chat、智谱、文心一言等 AI 聊天机器人，了解它们的工作原理和交互方式。通过与这些 AI 产品的对话，您可以获得对 AI 在实际应用中表现的第一手体验，并激发您对 AI 潜力的认识。 六、掌握相关技能和知识 1. 从编程语言入手学习：可以从 Python、JavaScript 等编程语言开始学习，学习编程语法、数据结构、算法等基础知识，为后续的 AI 学习打下基础。 2. 尝试使用 AI 工具和平台：可以使用 ChatGPT、Midjourney 等 AI 生成工具，体验 AI 的应用场景。探索一些面向中学生的 AI 教育平台，如百度的“文心智能体平台”、Coze 智能体平台等。 3. 学习 AI 基础知识：了解 AI 的基本概念、发展历程、主要技术如机器学习、深度学习等。学习 AI 在教育、医疗、金融等领域的应用案例。 4. 参与 AI 相关的实践项目：可以参加学校或社区组织的 AI 编程竞赛、创意设计大赛等活动。尝试利用 AI 技术解决生活中的实际问题，培养动手能力。 5. 关注 AI 发展的前沿动态：关注 AI 领域的权威媒体和学者，了解 AI 技术的最新进展。思考 AI 技术对未来社会的影响，培养对 AI 的思考和判断能力。 总之，作为转型者，您可以从以上多个方面入手，全面系统地学习 AI 知识和技能，为未来在 AI 行业的售前工作做好准备。
2025-01-07