直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

SD大模型无法加载

回答

SD 大模型无法加载可能有以下原因及解决方法：

  1. LORA 方面：
    • LORA 可以提炼图片特征，文件通常有几十上百兆，承载信息量远大于 Embedding。下载的 LORA 放在根目录的【……\models\Lora】文件夹下，使用时点击红色小书，找到 LORA 选项卡加载。
    • 使用 LORA 时要注意看作者使用的大模型，一般需配套使用，还可能需要加入特定触发词，如盲盒 LORA 需加入“full body, chibi”等提示词。
  2. Hypernetworks 方面：
    • Hypernetworks 主要针对画风训练，文件下载后放在根目录的【…\models\hypernetworks】，使用时点击红色小书，找到 Hypernetworks 选项卡加载。
  3. 模型下载与安装方面：
    • 常用的模型下载网站有：Civitai | Stable Diffusion models,embeddings,hypernetworks and more、Models - Hugging Face、SD - WebUI 资源站、元素法典 AI 模型收集站- AI 绘图指南 wiki(aiguidebook.top)、AI 绘画模型博物馆(subrecovery.top)。
    • 下载模型后需放置在指定目录，大模型（Ckpt）放入【models\Stable-diffusion】，VAE 模型放入【models\Stable-diffusion】或【models\VAE】目录（有的大模型自带 VAE 则无需再加），Lora/LoHA/LoCon 模型放入【extensions\sd-webui-additional-networks\models\lora】或【models/Lora】目录，Embedding 模型放入【embeddings】目录。模型类型可通过Stable Diffusion 法术解析检测。
    • 不会科学上网时，可在启动器界面直接下载模型，将下载的大模型放在根目录的【……\models\Stable-diffusion】，在左上角模型列表中选择（看不到就点旁边蓝色按钮刷新）。
    • 旁边的 VAE 相当于给模型增加提高饱和度的滤镜和局部细节微调，可在启动器里下载，放在根目录的【……\models\VAE】。
    • Embedding 功能相当于提示词打包，下载 Embedding 可在 C 站通过右上角筛选 Textual Inversion 找到，放在根目录下的【embeddings】文件夹里。

由于无法确定您大模型无法加载的具体原因，您可以根据上述内容逐一排查。

内容由 AI 大模型生成，请仔细甄别（powered by aily）

参考资料

【SD】软件原理傻瓜级理解

总结一下，LORA的强大，无论是画风，还是人物、物品，或者是动作姿态，都是可以固定下来，它所做的就是提炼图片特征。LORA和Embedding的区别一是在于体量上，Embedding的文件只有几十kb，而LORA的文件通常有几十上百兆，所以LORA的文件所承载的信息量是要远大于Embedding，尤其是在还原真人物品时，LORA的细节精度是Embedding无法比拟的。下载的LORA放在根目录的这个文件夹下【……\models\Lora】，使用的时候点击这个红色的小书，找到LORA的选项卡，任意点击一个想要的LORA就可以加载进去了。使用LORA的时候要注意看作者使用的大模型，一般情况下只有配套使用才能达到LORA最好的效果，当然也不排除有一些LORA和其他的大模型会产生一些奇妙的碰撞。除了加载lora以外，还需要加入一些特定的触发词，才能保证lora的正常使用。比如这个盲盒的lora，作者提示需要加入full body,chibi这些提示词才行。Hypernetworks主要是针对画风训练的一种模型，可以像lora一样加载进来。比如这种卡通Q版头像蒸汽波风格油画风格下载的文件放在根目录的这个文件夹下【…\models\hypernetworks】，使用的时候点击这个红色的小书，找到Hypernetworks的选项卡，任意点击一个想要的Hypernetworks就可以加载进去了。当我们下载了很多的模型、Embedding、Hypernetworks和LORA之后，我们会发现这些文件的后缀名几乎是一样，包括.pt/.safetensors/.ckpt等等，所以这些文件是无法通过后缀名进行区分的，那我们怎么判断这个文件到底是什么？该放到什么文件夹里呢？这里我们可以去到秋叶大佬整理的这个网站里面https://spell.novelai.dev/，把文件拖进去就可以看到是什么类型的文件。

SD新手：入门图文教程

模型能够有效地控制生成的画风和内容。常用的模型网站有：[Civitai | Stable Diffusion models,embeddings,hypernetworks and more](https://link.zhihu.com/?target=https%3A//civitai.com/)>[Models - Hugging Face](https://link.zhihu.com/?target=https%3A//huggingface.co/models)>[SD - WebUI资源站](https://link.zhihu.com/?target=https%3A//www.123114514.xyz/models/ckpt)>[元素法典AI模型收集站- AI绘图指南wiki(aiguidebook.top)](https://link.zhihu.com/?target=https%3A//aiguidebook.top/index.php/model/)>[AI绘画模型博物馆(subrecovery.top)](https://link.zhihu.com/?target=https%3A//aimodel.subrecovery.top/)[heading3]模型安装[content]下载模型后需要将之放置在指定的目录下，请注意，不同类型的模型应该拖放到不同的目录下。模型的类型可以通过[Stable Diffusion法术解析](https://link.zhihu.com/?target=https%3A//spell.novelai.dev/)检测。大模型（Ckpt）：放入models\Stable-diffusionVAE模型：一些大模型需要配合vae使用，对应的vae同样放置在models\Stable-diffusion或models\VAE目录，然后在webui的设置栏目选择。Lora/LoHA/LoCon模型：放入extensions\sd-webui-additional-networks\models\lora，也可以在models/Lora目录Embedding模型：放入embeddings目录

【SD】软件原理傻瓜级理解

如果不会科学上网，也可以去启动器的界面直接下载模型，当然这里是看不见预览图的，但从名字你可能看不出这个模型是什么风格。将下载的大模型放在根目录的这个文件夹下【……\models\Stable-diffusion】，我们就可以在左上角的模型列表中进行选择了。（看不到就点旁边的蓝色按钮刷新一下）。旁边这个VAE，相当于是给模型增加一个提高饱和度的滤镜和一些局部上的细节微调。当然有的大模型本身就自带VAE，所以就不用再加了。VAE可以直接在启动器里面下载，下载的VAE放在根目录的这个文件夹下【……\models\VAE】。接下来要理解的一个概念是Embedding，这个功能相当于是一个提示词打包的功能。比如你想画一个娜美的人物形象，但是想要固定一个人物形象往往要几十条什么上百条提示词，比如性别、头发、脸型、眼睛、身材等等一大堆精确指向的词汇。那这个时候，就有人将这些提示词整合到一起做成了一个Embedding文件，你只需要使用一个提示词，就可以直接引入这个人物形象进行创作了。下载Embedding的地方同样是在C站，通过右上角的筛选Textual Inversion就可以找到，放在根目录下的embeddings文件夹里即可。接下来，讲一讲最重要的这个LORA,有了LORA就可以将人物或者物品接近完美地复刻进图像中，这就有了极大的商用价值。比如这个“墨心”的LORA，就可以把你的图片变成水墨风格。这个盲盒LORA可以生成这种2.5D的卡通小人角色。或者是一些明星角色的LORA，直接生成真人形象。还有知名的动漫角色，由于LORA其极其强大的功能，所以在使用上，大家需要有很强的版权和法律意识，所谓能力越大、责任越大，玩得太花，小心律师函到你家。

其他人在问
SD安装包
以下是关于 SD 安装包的详细步骤： 1. SD 云端部署 部署流程 安装和配置基础环境 在浏览器上按照腾讯云>控制台>云服务器的路径找到购买的实例，点击启动，会新开一个远程访问的窗口，输入购买时设置的密码进入，这样就有了一个远程的 Windows 系统环境，接下来安装显卡驱动、配置环境变量。 安装显卡驱动：用内置的 IE 或下载 Chrome，打开英伟达的网站，找到驱动下载，选择购买机器时选定的显卡型号、Windows 版本号，下载对应的驱动并安装。 配置环境变量：驱动安装完成后，先找到驱动所在的目录（一般是在「C:\\Program Files\\NCIDIA Corporation」），复制这个路径。找到环境变量配置入口（控制面板>系统和安全>系统），选择「高级系统设置」，弹窗设置环境变量。找到「系统变量」里的 Path 环境变量，点击「编辑...」，然后「新建」，粘贴刚才复制的 nvidia 驱动安装地址，保存即可。 下载安装 SD 整合包 整合包也就是打包了 SD 和 Web UI 方便大家更好的使用的集合，以秋叶的 SD 整合包举例讲解。 下载 SD 整合包：秋叶 SD 整合包下载地址：https://pan.baidu.com/s/1uavAJJdYYWhpnfjwQQDviQ?pwd=a123 ，提取码：a123 。建议在服务器上装个百度网盘或者其他能够提高下载速度的工具，有百度会员则无所谓。 安装 SD 整合包：安装之后，打开安装包一级目录，双击启动器运行依赖（安装一些 SD 运行所必要的基础环境，比如 Microsoft Desktop Runtime 等），安装完成后就可以启动 SD 了。 2. 补充说明 如果在以上使用过程中发生错误，那么可能需要部署一下使用环境，再次开启最傻瓜安装教学模式。 安装 cuda_11.8.0_522.06_windows.exe。 安装 VisualStudioSetup.exe，选择 C++的桌面开发安装。（如果安装过 roop 的可以跳过） 拷贝 ninja，打开 ninja 文件包，把里面的内容拷贝到秋叶包根目录。 拷贝 python，打开 python 文件包，把里面的内容拷贝到秋叶包根目录替换。 拷贝模型，SAM 和 GroundingDINO 的模型都在这了，放到对应的文件夹即可。 重启，装好了，重启电脑，即可运行。 请注意，如果想要获取插件安装包，可以添加公众号【白马与少年】，回复【SD】即可。
2024-11-11
如何安装SD
安装 SD 的步骤如下： 1. 系统要求：系统需为 Win10 或 Win11。 2. Win 系统查看配置： 查看电脑系统：在桌面上找到“我的电脑”，鼠标右键点击，点击“属性”，查看 Windows 规格。 查看电脑配置：检查自己的电脑配置能否带动 SD的显卡；显卡内存 4GB 以上。 打开任务管理器：同时按下 ctrl+shift+esc。 查看电脑运行内存，8GB 运行内存可以勉强运行 SD，推荐 16GB 以上运行内存。 查看电脑显卡内存（显存），4GB 显存可运行 SD，推荐 8GB 以上显存。 3. 配置达标跳转至对应安装教程页： 4. 配置不够可选择云端部署（Mac 也推荐云端部署）： 5. 备选：SD 好难，先试试简单的无界 AI： 此外，还有以下相关插件的安装： 1. 【SD】无需 Lora，一键换脸插件 Roop： 安装时间比较长，要耐心等待。 安装好之后，打开 SD 文件目录下的这个文件夹。 在地址栏输入“cmd”，然后回车。 在打开的 dos 界面里面，将“python m pip install insightface==0.7.3 user”粘贴进来，就会自动开始安装 insightface。 如果这个阶段出现错误，建议去下载使用最新的秋叶 4.2 整合包（6 月 23 号更新），下载包已更新到云盘，后台回复【SD】即可下载。 安装完成后，重新打开启动器，后台会继续下载一些模型，此时一定要保证全程科学上网。 完成这些后，Roop 插件就可以正常使用。 2. 【SD】商业换装如此简单，Segment Anything 保姆级教学： 补充说明：如果在使用过程中发生错误，可能需要部署使用环境。 安装 cuda_11.8.0_522.06_windows.exe。 安装 VisualStudioSetup.exe，选择 C++的桌面开发安装（安装过 Roop 的可跳过）。 拷贝 ninja，打开 ninja 文件包，把里面的内容拷贝到秋叶包根目录。 拷贝 python，打开 python 文件包，把里面的内容拷贝到秋叶包根目录替换。 拷贝模型，SAM 和 GroundingDINO 的模型都在这了，放到对应的文件夹即可。 最后：重启电脑，即可运行。 特别提醒：相关插件使用需谨慎，切勿触犯法律。获取插件安装包，可添加公众号【白马与少年】，回复【SD】。
2024-11-10
我要用Sd做图片细化，要怎么做？给出具体方法
以下是使用 SD 做图片细化的具体方法： 1. 对于更精确的蒙版，如人物的眼睛或配饰等，可使用 Segment Anything 中的 GroundingDINO。启用 GroundingDINO 后，AI 会自动下载模型，若没有魔法，可去云盘下载并放到指定文件目录下。在检测提示词中输入相关内容，如“eye”，AI 可自动检测并设置蒙版，还可通过预览箱体得到编号来选择调整单一部分。选择要修改的蒙版上传到重绘蒙版中，并添加提示词，如“闭眼”，点击生成即可完成修改。 2. 给人物换背景时，加载生成的背景蒙版。大模型选择 revAnimated_v122，正向提示词可设为“简单背景、花、国画、工笔”，蒙版模式选择“重绘非蒙版内容”。若头发部分没抠好，可将其放入图生图中，使用 tile 模型做整体细化，还能给人物衣服添加国风元素。 3. SD 扩图时，若原本图片尺寸为 1152x1152 需增高高度，可设置为（1152x1526）。ControlNet 设置方面，若无法识别处理，可采取以下措施：提高 ControlNet 的权重（增加预处理权重，降低引导介入时机直到为 0，增加引导终止时机直到为 1）；降低重绘幅度（高清修复大图时使用）；把原始的黑白二维码叠加在二维码上方（正片叠底，保留 4 个定位点，擦去其他地方），调节透明度；使劲抽卡。 4. SD 放大通常重绘幅度设置在 0.3 以下，使用 tile 模型时可提高重绘幅度，如保持重绘幅度为 1 放大 1.5 倍绘图，能加强画面细节且不崩坏。对于草图，可将其导入 ControlNet 中，添加提示词进行细化，还可通过改变控制模式和增加关键词来优化效果，如实现随机提示词转换，用提示词对参考图做出调整。
2024-11-09
sd中的采样是什么意思
在 Stable Diffusion 中，采样（Sampling）指的是去噪过程。稳定扩散从随机高斯噪声起步，通过一步步降噪逐渐接近符合提示的图像。每一步都会产生一个新的样本图像，这种方法被称为采样器（Sampler）或采样（Sampling）。 不同的采样器具有不同的特点和效果，例如： Euler a 可以以较少的步数产生很大的多样性，不同的步数可能有不同的结果。 Euler 是最简单、最快的。 DDIM 收敛快，但效率相对较低，需要很多 step 才能获得好的结果，适合在重绘时候使用。 LMS 是 Euler 的衍生，使用一种相关但稍有不同的方法，大概 30 step 可以得到稳定结果。 PLMS 是 Euler 的衍生，可以更好地处理神经网络结构中的奇异性。 DPM2 旨在改进 DDIM，减少步骤以获得良好的结果，但速度较慢。 UniPC 效果较好且速度非常快，对平面、卡通的表现较好，推荐使用。 采样步数（Sampling Steps）也很重要，随着步数增多，可以得到对目标更小、更精确的图像，但增加步数会增加生成图像所需的时间，且增加步数的边际收益递减，一般开到 20 30 步。在实际应用中，如何选择采样器和设置采样步数可以按照模型作者的推荐进行。
2024-11-09
对比sdk 用什么工具推荐
以下是关于对比相关内容的介绍： Midjourney v6.0 与 v6.1 版本对比： 在 Discord 上输入/settings 打开，或者描述词后面输入v 6.1 即可；网页端默认选择 v6.1 版本，直接使用即可。 对比的前提包括文字的摆放是否更完整，实物物体能否从 v6.0 版本复杂化到简单化，人物面部细节处理，肢体和图画比例是否协调，以及插画类在这次版本中的表现。 文字测试结果：v6.0 版本文字方面已不错，但 v6.1 版本表现更好。 实物测试结果：左侧细节过于复杂，右侧简洁合理，此次版本更新情况较诡异。 不同大型语言模型的性能对比： 需考虑多个维度，如理解能力（对语法、语义、上下文和隐含意义的理解）、生成质量（文本的流畅性、相关性和准确性）、知识广度和深度（对广泛主题的知识掌握程度及特定领域的理解深度）、泛化能力（处理未见过的任务或数据的表现）、鲁棒性（对错误输入等的应对能力）、偏见和伦理（生成文本是否存在偏见及是否遵循伦理标准）、交互性和适应性（在交互环境中的表现）、计算效率和资源消耗（模型大小、训练和运行所需的计算资源）、易用性和集成性（是否易于集成到不同应用和服务中及提供的 API 和工具的易用性）。 为进行有效比较，可采用标准基准测试（如使用 GLUE、SuperGLUE、SQuAD 等）、自定义任务（根据特定需求设计）、人类评估（结合主观评价）、A/B 测试（在实际应用场景中比较）、性能指标（如准确率、召回率、F1 分数、BLEU 分数等）。
2024-11-08
Stable Diffusion（SD）收费吗
Stable Diffusion 是开源免费的。其优势在于开源免费、可以本地化部署、创作自由度很高，但需要较好的电脑配置，尤其是显卡。 相比较于 DALLE 等大模型，Stable Diffusion 让用户使用消费级的显卡便能够迅速实现文生图。Stable Diffusion 完全免费开源，所有代码均在 GitHub 上公开，大家可以拷贝使用。 目前有关于 Stable Diffusion 的课程，例如《Stable Diffusion 零基础入门宝典》，共计 77 个课时，定价 298 元，上架 CCtalk。因制作字幕课程在逐步解锁中，目前对前 100 名报名的同学有优惠价 198 元。
2024-10-21
知道源代码就可以加载AI吗？
一般来说，仅仅知道源代码并不一定能够直接加载 AI 。以 GPT4 的代码解释器为例，它是一种特定的模式，允许用户将文件上传到 AI，让 AI 编写和运行代码，并下载 AI 提供的结果。它可以用于执行程序、运行数据分析、创建各种文件、网页甚至游戏。但使用代码解释器进行分析存在未经培训的人使用的风险，许多测试专家对此印象深刻，甚至有论文表明它可能需要改变培训数据科学家的方式。如果您想了解更多关于如何使用它的详细信息，可以访问相关帖子。
2024-10-01
什么是加载别人训练的qwen模型？
加载别人训练的 qwen 模型通常涉及以下步骤： 1. 对于直接调用千问的某一个大模型，如“qwenmax”模型，在 COW 中需要更改 key 和 model。在 /root/chatgptonwechat/文件夹下，打开 config.json 文件进行更改，并添加"dashscope_api_key"。获取 key 可参考视频教程或图文教程。同时，需要“实名认证”后，这些 key 才可以正常使用，若对话出现“Access to mode denied.Please make sure you are eligible for using the model.”的报错，可能是未实名认证，可点击去，或查看自己是否已认证。 2. 部署大语言模型时，如下载 qwen2:0.5b 模型，对于不同的电脑系统操作有所不同。如果是 Windows 电脑，点击 win+R，输入 cmd 点击回车；如果是 Mac 电脑，按下 Command（⌘）+ Space 键打开 Spotlight 搜索，输入“Terminal”或“终端”，然后从搜索结果中选择“终端”应用程序。之后复制相关命令行并粘贴回车，等待自动下载完成。 3. 对于 Ollama 大模型部分，为避免没下载大模型带来的报错，需要先下载 ollama，网站：网站中复制代码，然后像特定操作一样打开 ComfyUi 根目录下的 custom_nodes\\ComfyUiOllamaYN 的文件路径，在上方的路径下输入 cmd，进入到下方的命令行，右键粘贴刚才的代码，等待下载即可。
2024-10-01
怎么加载开源模型？
加载开源模型的步骤如下： 1. 下载相关模型节省时间： Base Model DreamShaper XL Turbo: https://civitai.com/models/112902/dreamshaperxl LoRA：Envy Anime Watercolor XL 03：https://civitai.com/models/382684/envyanimewatercolorxl03 Alphonse Mucha Style：https://civitai.com/models/63072/alphonsemuchastyle 2. 打开以下链接放在后台： Ollama: https://ollama.com/ https://github.com/stavsap/comfyuiollama IPAdapter：https://github.com/cubiq/ComfyUI_IPAdapter_plus InstantID: https://github.com/cubiq/ComfyUI_InstantID PuLID：https://github.com/cubiq/PuLID_ComfyUI 3. 安装缺失节点： 下载过程中若发现 layer style 下不了，可重启重新下载，尝试修复。若仍不行，从官网重新下载到./custom_nodes 的文件夹下。 4. 从官网下载两个文件，点击左上角部分将加载器展开并选择官网下载好的两个模型。 5. 对于 GDino 加载器部分，在链接：处下载相关文件，然后检查文件是否齐全。对于 groundingdino 和 sams 配置是否齐全可以使用“抠头发.json”来检验。 6. Ollama 大模型部分： 首先，下载 ollama，网站： 其次，在网站中，复制代码。然后，打开 ComfyUi 根目录下的 custom_nodes\\ComfyUiOllamaYN 的文件路径，在上方的路径下输入 cmd，进入到命令行，右键粘贴刚才的代码，等待下载。
2024-10-01
controlnet一直加载怎么办
ControlNet 一直加载可能由以下原因导致及对应的解决方法： 1. 模型版本问题：确保 checkpoint、ContalNet 等所有需要加载模型的版本均基于 SD1.5，否则可能会报“超出索引”的错误。 2. 节点未安装完全：载入工作流后若出现爆红部分，可能是节点没下好、没下全。此时可以先全部更新，让所缺节点“显露出来”，然后安装好缺失的节点。 3. 参数设置问题：假如右下角的区域报红，那么就得根据报错信息相应调整一下左上角蓝色区域的 h、w 参数。 此外，ControlNet 还有一些新的功能和应用，例如： 1. 1.1 版本新出的 lineart 线稿提取功能，可先通过 invert 预处理将白底黑线处理成黑底白线，然后切换到 lineart 预处理器和模型进行生成。 2. mlsd 直线线条检测功能，一般用在建筑或者室内设计上，预处理器可提炼出室内的结构线。 ComfyUI 中的 ControlNet 高级控件： 在时间步和批处理潜变量之间调度 ControlNet 强度的节点，以及应用自定义权重和注意力掩码。这里的 ControlNet 节点完全支持滑动上下文采样。输入包括 positive（提示词（正面））、negative（提示词（负面））、control_net（加载了控制网络）、image（用于指导控制网络的图像）、mask_optional（应用于控制网络的注意力掩码）、timestep_kf（时间步关键帧）、latent_kf_override（潜在关键帧的覆盖）。
2024-08-29
图生文模型
以下是关于图生文模型的相关信息： Kolors 是一款强大的开源文生图模型，具有更强的中文文本编码器、机造的高质量文本描述、人标的高质量图片、强大的中文渲染能力，以及巧妙的 noise schedule 解决高分辨率图加噪不彻底的问题。实测效果很不错，展现了快手的技术实力。 Tripo AI 中，文生 3D 模型是用一段文字生成 3D 模型，在「Create」界面底部输入框输入提示词（不支持中文），不会写提示词可点击输入框左侧的</>按钮随机生成并自动填入。填写好提示词后点击右侧「Create」生成 3D 模型，每次生成 4 个基础模型，不满意可点击「Retry」重新生成。有满意的模型点击单个模型下方黄色的「Refine」精修，精修进度在「My Models」中查看，一般 5 分钟左右完成。图生 3D 模型是用一张图片生成 3D 模型，点击输入框右侧的图标上传图片即可生成，一次生成一个基础模型，同样支持重生成和精修。 Tusiart 文生图操作流程包括：定主题，确定生成图片的主题、风格和信息；选择基础模型 Checkpoint，找内容贴近的模型；选择 lora，寻找内容重叠的 lora 控制图片效果及质量；ControlNet 用于控制图片中特定图像；设置 VAE 无脑选择 840000；Prompt 提示词用英文写需求，单词和短语用英文半角逗号隔开；负向提示词 Negative Prompt 用英文写避免产生的内容，单词和短语组合并用英文半角逗号隔开；采样算法一般选 DPM++ 2M Karras，也可参考模型作者推荐的采样器；采样次数根据采样器特征，选 DPM++ 2M Karras 时一般在 30 40 之间；尺寸根据个人喜好和需求选择。
2024-11-13
大小模型协同有哪些设计，具体应用有哪些呢？
大小模型协同的设计主要包括以下方面： 1. 大型模型方面： 大型语言模型：专注于处理和生成文本信息，通过分析大量的文本数据来理解和生成自然语言。 大型多模态模型：能够处理包括文本、图片、音频等多种类型的信息，在更多样化的任务中应用。 2. 小型模型方面：通常是被设计来完成特定任务的。 其具体应用包括： 1. 人机协同模式： 模式一：以人为主导，大模型提供建议（copilot 阶段），如同副驾驶，开车时提供建议，决定权在人手中。 模式二：人和大模型协同工作，合作完成同一个工作（embedding 阶段），在实际工作场景中，一些小环节由大模型完成，提高效率。 模式三：人指挥大模型工作（数字员工阶段），但此阶段目前少见，大模型还不能完全独立完成具体工作，可能是工程或大模型能力欠缺导致。 当下努力方向应是从简单使用大模型得到建议，转变为让大模型深度融入工作流，形成有高价值的一套 agent。数字员工阶段尚不成熟，可由其他大厂和学界先多尝试。
2024-11-13
大小模型协同有哪些数据
大小模型协同的数据来源广泛且多样，主要包括以下方面： 大模型方面： 预训练数据非常大，往往来自于互联网，涵盖论文、代码以及可爬取的公开网页等，通常采用 TB 级别的数据进行预训练。 像 GPT3 这样的大模型参数众多。 例如 Gemini 模型，其预训练数据集使用来自网络文档、书籍、代码的数据，并包括图像、音频和视频数据。 小模型方面： 针对特定任务进行训练，数据主要由与任务相关的内容组成，如专门识别猫或狗的模型，其训练数据主要是猫猫狗狗的照片。 大模型具有更广泛的应用范围和更多的通识知识，能处理多种不同任务；小模型在特定任务上表现出色。但大模型的知识来源于有限的训练数据，并非无限，且知识库不会自动更新，在某些特定或专业领域的知识可能不够全面。
2024-11-13
大模型排名以及排名的评测标准维度是什么
以下是一些常见的大模型排名及评测标准维度： FlagEval（天秤）大模型评测体系及开放平台： 地址： 简介：旨在建立科学、公正、开放的评测基准、方法、工具集，协助研究人员全方位评估基础模型及训练算法的性能，同时探索利用 AI 方法实现对主观评测的辅助，大幅提升评测的效率和客观性。创新构建了“能力任务指标”三维评测框架，细粒度刻画基础模型的认知能力边界，可视化呈现评测结果。 CEval： 地址： 简介：构造了一个覆盖人文，社科，理工，其他专业四个大方向，52 个学科（微积分，线代…），从中学到大学研究生以及职业考试，一共 13948 道题目的中文知识和推理型测试集。此外还给出了当前主流中文 LLM 的评测结果。 SuperCLUElyb： 地址： 简介：中文通用大模型匿名对战评价基准，这是一个中文通用大模型对战评价基准，它以众包的方式提供匿名、随机的对战。他们发布了初步的结果和基于 Elo 评级系统的排行榜。 斯坦福发布的大模型排行榜 AlpacaEval： 项目链接：https://github.com/tatsulab/alpaca_eval 排行榜链接：https://tatsulab.github.io/alpaca_eval/ 该研究团队选择了目前在开源社区很火的开源模型，还有 GPT4、PaLM 2 等众多「闭源」模型，甚至还开设了一个「准中文」排行榜。 AlpacaEval 分为以 GPT4 和 Claude 为元标注器的两个子榜单。 在斯坦福的这个 GPT4 评估榜单中： GPT4 稳居第一，胜率超过了 95%；胜率都在 80%以上的 Claude 和 ChatGPT 分别排名第二和第三，其中 Claude 以不到 3%的优势超越 ChatGPT。 值得关注的是，获得第四名的是一位排位赛新人——微软华人团队发布的 WizardLM。在所有开源模型中，WizardLM 以仅 130 亿的参数版本排名第一，击败了 650 亿参数量的 Guanaco。 而在开源模型中的佼佼者 Vicuna 发挥依然稳定，凭借着超过 70%的胜率排在第六，胜率紧追 Guanaco 65B。 最近大火的 Falcon Instruct 40B 表现不佳，仅位居 12 名，略高于 Alpaca Farm 7B。 AlpacaEval 的技术细节： 人类一致性：标注者与交叉标注集中人类多数票之间的一致性。 价格：每 1000 个标注的平均价格。 时间：计算 1000 个标注所需的平均时间。相对于人工标注，全自动化的 AlpacaEval 仅需花费约 1/22 的经济成本和 1/25 的时间成本。 AlpacaEval 评估模型的方式： alpaca_eval：直接根据目标模型输出的响应来评估模型。 alpaca_eval evaluate_from_model：根据 HuggingFace 已注册模型或这 API 提供商来端到端评测模型。 评测过程分为以下 3 步： 1. 选择一个评估集，并计算指定为 model_outputs 的输出。默认情况下，使用来自 AlpacaEval 的 805 个示例。 2. 计算 golden 输出 reference_outputs。默认情况下，在 AlpacaEval 上使用 textdavinci003 的输出。 3. 通过 annotators_config 选择指定的自动标注器，它将根据 model_outputs 和 reference_outputs 计算胜率。这里建议使用 alpaca_eval_gpt4 或 claude。根据不同的标注器，使用者还需要在环境配置中设定 API_KEY。
2024-11-12
从0到1学习大模型知识
以下是从 0 到 1 学习大模型知识的相关内容： 什么是大模型： 通俗来讲，大模型是输入大量语料，让计算机获得类似人类的“思考”能力，能进行文本生成、推理问答、对话、文档摘要等工作。可以用“上学参加工作”来类比大模型的训练和使用过程： 1. 找学校：训练大模型需要大量计算，GPU 更合适，只有购买得起大量 GPU 的才有资本训练自己的大模型。 2. 确定教材：大模型需要大量数据，几千亿序列（Token）的输入基本是标配。 3. 找老师：用合适算法让大模型更好理解 Token 之间的关系。 4. 就业指导：为让大模型更好胜任某一行业，需要进行微调（fine tuning）指导。 5. 搬砖：就业指导完成后，正式干活，比如进行翻译、问答等，在大模型里称之为推导（infer）。在 LLM 中，Token 被视为模型处理和生成的文本单位，会对输入进行数字化形成词汇表。 大模型如何运作： 打个比方，“我今天吃了狮子头和蔬菜”这句话，在 transformer 中，会由 attention 层对其加入更多信息补充，如“狮子头是一道菜”“今天是星期六”等，这些补充信息会作为输入给到下一个 attention 层，最终哪些信息补充、保留、传递由模型自主学习。层与层之间就像人阅读文章时的连贯性注意力过程，大模型以词向量和 transformer 模型学习海量知识，把知识作为向量空间中的关系网存储，接受输入时通过向量空间中的匹配进行输出。这个过程像人脑阅读学习，记忆的不是逐字逐句，而是按相关性、重要程度结合历史经验，比如看到红色会觉得代表温暖、强烈。 大模型的整体架构： 从整体分层角度，大模型架构可分为以下几层： 1. 基础层：为大模型提供硬件支撑、数据支持，如 A100、数据服务器等。 2. 数据层：分为静态的知识库和动态的三方数据集，不是用于基层模型训练的数据基集，而是企业根据自身特性维护的垂域数据。 3. 模型层：包括 LLm（largelanguagemodel，如 GPT，一般使用 transformer 算法实现）或多模态模型（如文生图、图生图等，训练数据与 llm 不同，用图文或声音等多模态数据集）。 4. 平台层：如大模型的评测体系或 langchain 平台等，提供模型与应用间的组成部分。 5. 表现层：即应用层，是用户实际看到的地方。
2024-11-12
在comyui中，使用flux1-dev模型24g显存够吗
在 ComfyUI 中使用 Flux1dev 模型，24G 显存是可以的，但建议内存尽量高于 32G 以避免意外情况的发生。如果您的显卡是 24G 或更高，右键 24G 那个 train_flux_24GLora 的文件。修改脚本路径和参数时，要注意底模路径、VAE 路径、数据集路径，还有下面的 clip 路径和 T5xxl 路径的正确填写。ae.safetensors 和 flux1dev.safetensors 的下载地址为：https://huggingface.co/blackforestlabs/FLUX.1dev/tree/main 。flux 相关模型（体积较大）的夸克网盘链接：https://pan.quark.cn/s/b5e01255608b ，百度网盘链接：https://pan.baidu.com/s/1mCucHrsfRo5SttW03ei0g?pwd=ub9h 提取码：ub9h 。如果 GPU 性能不足、显存不够，底模可以使用 fp8 的量化版模型，下载地址：https://huggingface.co/Kijai/fluxfp8/tree/main 。最后下载 dev 的工作流： ，或者使用官方原版的图片链接 https://comfyanonymous.github.io/ComfyUI_examples/flux/flux_dev_example.png ，打开 ComfyUI 把工作流或图片拖拽到其中即可。
2024-11-12
国内无法访问 OpenAI 网站
以下是关于您所提到的问题的相关信息： OpenAI 将于 7 月 9 日开始阻止中国用户访问其 API。微软发言人表示，Azure OpenAI API 服务在中国的提供方式没有变化。作为一家独立公司，OpenAI 自行做出其决策，微软不受影响。相关链接：https://pymnts.com/artificialintelligence2/2024/reportmicrosoftwontfollowopenaiinblockingchinasaccesstoaimodels/ 、https://x.com/imxiaohu/status/1810526011173556481 微软确认 Azure OpenAI 服务将停止对中国大陆的非企业用户开放，企业用户不受影响。这是大陆唯一合法使用 OpenAI 的渠道，开发者社区受到了广泛关注。相关链接：https://x.com/imxiaohu/status/1847140960368841034
2024-11-01
oppo手机无法安装chatgpt，搜了一圈也找不到解决方案
以下是关于安卓和苹果系统安装 ChatGPT 的方法： 安卓系统： 1. 到谷歌商店搜索“ChatGPT”进行下载安装，开发者是 OpenAI，别下错了。 2. 这步骤可能遇到“google play 未在您所在的地区提供此应用”的问题。经过各种方法测试，找到路径如下： 在 google play 点按右上角的个人资料图标。 依次点按：设置>常规>帐号和设备偏好设置>国家/地区和个人资料。 在这里看到账号没有地区，可以“添加信用卡或借记卡”，国内的双币信用卡就行，填写信息时地区记得选美，最后的结果参考相关红款标识信息。 如果回到 google play 首页还搜不到 chatgpt，可以卸载重装 google play，操作过程保持梯子的 IP 一直是美，多试几次。 苹果系统： 中国区正常下载不了，需要切换到美区才可以下载。美区 AppleID 注册教程参考如下知乎链接： 。最终在 AppleStore 搜到 chatgpt 结果如下，下载安装即可，注意别下错啦。
2024-09-25
为什么无法访问waytoAGI知识库内容？
WaytoAGI 是由一群热爱 AI 的专家和爱好者共同建设的开源 AI 知识库。其内容覆盖 AI 绘画、AI 视频、AI 智能体、AI 3D 等多个版块，包含赛事和活动促进大家动手实践，访问量超千万，展示了大家对 AI 的热情。 在这个知识库中，还有由其孵化的离谱村，这是一个千人共创项目，让大家学习和接触 AI 更容易、更感兴趣，参与者不分年龄层，都能通过 AI 工具创作作品。 此外，由于整个知识库内容庞大，新用户难以快速找到所需内容，传统搜索方式存在局限，所以需要采用更先进的 RAG 技术，并搭建问答机器人，在群中提供更便捷的信息检索方式。 如果您无法访问其内容，可能是网络问题、权限问题或其他技术故障，建议您检查网络连接，确认是否有相应的访问权限，或者稍后再试。
2024-09-10
Topaz Video无法下载模型怎么办
Topaz Video 无法下载模型，您可以参考以下步骤： 1. 解压对应的文件，推荐使用绿色版。（对应的安装包已在网盘里，可直接下载）。 2. 右键，管理员运行 VideoAIportable.exe 文件。 3. 导入处理好的视频。 4. 查看主界面，左边是原视频，右边是待处理视频，下面是对应的视频轨道。 5. 右边部分是主要对视频处理的方式，预设部分主要有放大视频、提升画质、提升帧率等。 6. 稳定 AI 模式分为自动裁切和完整帧，做转绘选择完整帧，强度在 60 为宜，抖动开启，次数一般选择 2 。 7. 帧插值：Apollo 模型处理一般情况，Chronos 模型处理运动幅度较大的情况，其他一般维持默认不变。 8. 增强部分建议直接开启使用默认。 9. 所有参数设计完毕后，点击浏览按钮查看效果。拉动时间轴，选择需要处理的位置，点击左边的 preview 即可执行浏览操作，可选择处理时长，一般在复杂场景如肢体快速运动时进行浏览。 请注意，以上操作依据电脑性能而定。若仍无法下载模型，建议检查网络连接或咨询相关技术支持。
2024-08-21
Cow好像接不上coze 的数据库，在coze 上能正常使用，到cow上就无法获取信息
以下是关于 Cow 接不上 coze 数据库的可能解决方法： 1. 服务器设置方面： 点击“Docker”中的“编排模板”中的“添加”按钮。 备注说明版和无备注干净版的操作有所不同。 将编译好的内容复制进来。 在“容器编排”中“添加容器编排”，选择在“编排模板”里创建的“coze2openai”。提示运行成功，如果无法正常启动，请看文档后面的“常见问题”。 2. 直接调用大模型方面： 当在 COW 中直接调用千问的某一个大模型时，只需要更改 key 和 model 即可。以调用“qwenmax”模型为例，在/root/chatgptonwechat/文件夹下，打开 config.json 文件，需要更改"model"，和添加"dashscope_api_key"。获取 key 的方式有视频教程和图文教程。注意需要“实名认证”后，这些 key 才可以正常使用，如果对话出现“Access to mode denied.Please make sure you are eligible for using the model.”的报错，那说明没有实名认证，可点击去，或查看自己是否已认证。 3. 安装并接入 cow 方面： 回到宝塔，打开【终端】。 依次粘贴并回车：cd /root ；git clone https://github.com/zhayujie/chatgptonwechat 。出现下方的样子，就是成功了。如果失败，或者没反应，刷新一下，重新再试一次。 继续依次输入：cd chatgptonwechat/ ；pip install r requirements.txt ；pip install r requirementsoptional.txt 。 到“文件”菜单中执行，点击文件找到 root，进入 root 文件夹，找到 chatgptonwechat 文件夹，并进入。 点击文件夹上方功能栏中的【终端】（注意，不是左侧一级菜单里的终端，是文件夹上方那一行的终端电脑）。 粘贴并回车：cp configtemplate.json config.json ，刷新页面。在当前目录下，找到 config.json 文件。删除文件里的所有代码，复制提供的代码粘贴到文件里。
2024-08-13
Cow好像接不上coze 的数据库，在coze 上能正常使用，到cow上就无法获取信息
以下是关于 Cow 接不上 coze 数据库的可能解决方法： 1. 服务器设置方面： 点击“Docker”中的“编排模板”中的“添加”按钮。 备注说明版和无备注干净版的操作有所不同。 将编译好的内容复制进来。 在“容器编排”中“添加容器编排”，选择在“编排模板”里创建的“coze2openai”。提示运行成功，如果无法正常启动，请看文档后面的“常见问题”。 2. 直接调用大模型方面： 当在 COW 中直接调用千问的某一个大模型时，只需要更改 key 和 model 即可。以调用“qwenmax”模型为例，在/root/chatgptonwechat/文件夹下，打开 config.json 文件，需要更改"model"，和添加"dashscope_api_key"。获取 key 的方式有视频教程和图文教程。注意需要“实名认证”后，这些 key 才可以正常使用，如果对话出现“Access to mode denied.Please make sure you are eligible for using the model.”的报错，那说明没有实名认证，可点击去，或查看自己是否已认证。 3. 安装并接入 cow 方面： 回到宝塔，打开【终端】。 依次粘贴并回车：cd /root ；git clone https://github.com/zhayujie/chatgptonwechat 。出现下方的样子，就是成功了。如果失败，或者没反应，刷新一下，重新再试一次。 继续依次输入：cd chatgptonwechat/ ；pip install r requirements.txt ；pip install r requirementsoptional.txt 。 到“文件”菜单中执行，点击文件找到 root，进入 root 文件夹，找到 chatgptonwechat 文件夹，并进入。 点击文件夹上方功能栏中的【终端】（注意，不是左侧一级菜单里的终端，是文件夹上方那一行的终端电脑）。 粘贴并回车：cp configtemplate.json config.json ，刷新页面。在当前目录下，找到 config.json 文件。删除文件里的所有代码，复制提供的代码粘贴到文件里。
2024-08-13