Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

SD 反推模型

Answer

以下是关于 SD 反推模型的相关内容：

Fooocus 模型：

  • LoRA 模型默认放在：Fooocus_win64_1-1-10\Fooocus\models\loras
  • 程序默认用到 3 个 SDXL 的模型，包括一个 base、一个 Refiner 和一个 LoRA。单独安装需下载三个模型：
    • SDXL 基础模型：https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0/resolve/main/sd_xl_base_1.0_0.9vae.safetensors
    • refiner 模型：https://huggingface.co/stabilityai/stable-diffusion-xl-refiner-1.0/resolve/main/sd_xl_refiner_1.0_0.9vae.safetensors
    • LoRA 模型：https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0/resolve/main/sd_xl_offset_example-lora_1.0.safetensors
  • 若部署了 SD 秋叶包，可共用模型（大模型和 LoRA），通过修改 Fooocus_win64_1-1-10\Fooocus\modules\path.py 文件中的路径来配置，修改为秋叶包模型对应的路径，如：
    • 大模型路径：sd-webui\models\Stable-diffusion\SDXL
    • LoRA 模型路径：sd-webui\models\lora
  • 配置好后点击 run.bat 文件启动。

Comfyui SD 学社做黏土头像的相关插件：

  • 提示词反推 WD14-Tagger：https://github.com/pythongosss/ComfyUl-WD14-Tagger，首次使用会自动下载模型（需要网络环境）
  • 处理人物一致性：
    • IPAdapter：https://github.com/cubiq/ComfyUI_IPAdapter_plus
    • 也可以用 instantID，这里使用的是 IPadpter，后续很多地方也会用到，建议先使用起来。关于 IPAdapter 的使用，之前有文章介绍。
  • ControlNet：
    • 预处理的插件：comfyui_controlnet_aux https://github.com/Fannovel16/comfyui_controlnet_aux
    • ControlNet 模型：
      • XL-CN 模型下载：https://huggingface.co/lllyasviel/sd_control_collection/tree/main
      • 1.5 理模型下载：https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main

ControlNet 的 tile 模型：

  • 随着 ControlNet1.1 的更新，tile 模型横空出世，其强大的功能让之前的一些模型变得有点黯然失色。
  • 可用于高清修复小图，比如将分辨率不高的食物图片拖进“WD 1.4 标签器”反推关键词，然后发送到图生图。使用大模型“dreamshaper”调整参数尺寸，放大为 2K，提示词引导系数(CFG Scale)官方推荐在 15 以上，重绘幅度在 0.5 以上。
  • 可用于修复和增加细节，如处理一张细节不足且结构错误的小屋图。tile 的预处理器用来降低原图的分辨率，为新图添加像素和细节提供空间。若图片本身像素很低，可以不使用预处理器，直接使用 tile 模型。
Content generated by AI large model, please carefully verify (powered by aily)

References

【SD】SD的大哥Fooocus重磅问世，三步成图傻瓜式操作

LoRA模型默认放在这里：\Fooocus_win64_1-1-10\Fooocus\models\lorasFooocus程序默认用到了3个SDXL的模型，一个base，一个Refiner，和一个LoRA。如果单独安装，这里需要下载三个模型：SDXL基础模型：https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0/resolve/main/sd_xl_base_1.0_0.9vae.safetensorsrefiner模型：https://huggingface.co/stabilityai/stable-diffusion-xl-refiner-1.0/resolve/main/sd_xl_refiner_1.0_0.9vae.safetensorsLoRA模型：https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0/resolve/main/sd_xl_offset_example-lora_1.0.safetensors如果你部署了SD秋叶包，也可以共用模型（大模型和LoRA），可以这里找到path.py文件：Fooocus_win64_1-1-10\Fooocus\modules\path.py，用text记事本打开，修改路径为秋叶包模型对应的路径：大模型路径，比如：sd-webui\models\Stable-diffusion\SDXLLoRA模型路径：比如sd-webui\models\lora都配置好之后，点击run.bat文件启动。

Comfyui SD 学社 做一个黏土头像

需要用到的插件如果提示缺失节点,就通过管理器安装一下.1.提示词反推WD14-Taggerhttps://github.com/pythongosss/ComfyUl-WD14-Tagger首次使用会自动下载模型(需要网络环境)1.处理人物一致性IPAdapter：https://github.com/cubiq/ComfyUI_IPAdapter_plus也可以用instantID,这里我们使用的是IPadpter,后续很多地方也会用到,建议大家也可以先用起来关于IPAdapter的使用,之前有写了一篇文章介绍,不熟悉的小伙伴可以先看下.因为作者新版本重写了代码,所以新版一定注意模型的放置位置,这样后续使用统一加载,会方便不少.1.controlNet预处理的插件comfyui_controlnet_aux https://github.com/Fannovel16/comfyui_controlnet_auxcontrolNet模型XL-CN模型下载：https://huggingface.co/lllyasviel/sd_control_collection/tree/main1.5理模型下载：https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/maincontrolnet不熟悉的小伙伴,同样也可以看之前写的一篇文章,快速上手.

【SD】最强控制插件ControlNet（4）细节狂魔tile

作者：白马少年介绍：SD实践派，出品精细教程发布时间：2023-05-19 20:01原文网址：https://mp.weixin.qq.com/s/HtSbc1l5BpOgl_dIoH0T7w随着ControlNet1.1的更新，tile模型横空出世，其强大的功能让之前的一些模型变得有点黯然失色。今天我们就来盘点一下，这个神奇的Tile模型都有哪些用法。高清修复小图在我们做设计的时候，经常会遇到一些分辨率不高的素材图片，我们需要将它进行高清化处理。比如这张食物的图片，先把它拖进“WD 1.4标签器”，可以进行反推关键词，然后发送到图生图。我们可以通过翻译软件检查一下提示词有没有问题，这边通过反推得到的提示词是——“没有人，食物，食物焦点，现实，水果，静物，草莓，模糊，蛋糕，糕点，景深，甜点，模糊背景，奶油”。基本上与原图相符，可以先不调整。接下来，我们使用大模型“dreamshaper”。调整参数尺寸，放大为2K，提示词引导系数(CFG Scale)官方推荐在15以上，重绘幅度在0.5以上。打开ControlNet，导入图片。tile的预处理器是用来降低原图的分辨率的，为的是给新图有足够的空间来添加像素和细节。如果你的图片本身像素就很低，可以不使用预处理器，直接使用tile模型。可以看到放大后的图片，清晰度和细节都有了很好的提升。对比一下使用tile模型处理前后的区别。修复和增加细节我们先随便绘制一张小屋的图，可以看出，这张图中的细节不足，而且有些地方的结构也是错误的。

Others are asking
ai提示词反推工具
以下是关于 AI 提示词反推工具的相关信息： 在图生图功能中，除了文本提词框外还有图片输入口，可通过图片给 AI 创作灵感。有两种反推提示词的按钮，CLIP 能通过图片反推出完整含义的句子，DeepBooru 可反推出关键词组。但生成的提示词可能存在瑕疵，需要手动补充信息。调整好提示词后，还需注意宽度、高度以及提示词相关性和重绘幅度等参数。 另外，LayerStyle 副本中的 PromptTagger 可根据图片反推提示词并设置替换词，使用 Google Gemini API 作为后端服务，需申请 API key 并正确填写配置文件。PromptEmbellish 输入简单提示词能输出润色后的提示词，也支持输入图片作为参考，同样依赖 Google Gemini API 服务。 同时，为您提供以下提示词相关的资源： Majinai： 词图： Black Lily： Danbooru 标签超市： 魔咒百科词典： AI 词汇加速器： NovelAI 魔导书： 鳖哲法典： Danbooru tag： AIBooru：
2025-03-05
ai提示词反推
在 AI 中，关于提示词反推，以下是一些相关信息： 在图生图功能中，除了文本提词框，还有图片框输入口。通过图片可给与 AI 创作灵感，文本输入框旁有两个反推提示词的按钮，CLIP 能通过图片反推出完整含义的句子，DeepBooru 能反推出关键词组。但两种方式生成的提示词可能存在瑕疵，需要手动补充信息。调整宽度和高度，使红框匹配图片。此外，提示词相关性和重绘幅度这两个参数很重要。 样例驱动的渐进式引导法能充分发挥 AI 自身的逻辑分析和抽象总结能力，从用户提供的样例中总结方法论，用户判断方法论正确与否并提出意见，为提示词爱好者提供低门槛生成途径。但 LLM 有上下文长度限制，在长对话中可能导致 AI 遗忘早期内容，影响输出质量，所以需要引入“提示词递归”的概念与方法，具体步骤包括初始提示、定期总结、重新引入、细化和拓展、验证和优化。
2025-03-05
可以反推关键词的AI
以下是关于可以反推关键词的 AI 的相关内容： 在 Midjourney 中，AI 以半抽象方式解析提示，更倾向处理整体概念。获得理想结果的关键在于具体性，可从简单提示或参数修改开始逐步调整。此外，还可通过反推关键词来解析，方法如下： 1. 初始提示：例如“Prompt：A banana is floating in the airv 6.1 提示：一个香蕉漂浮在空中v 6.1”，查看生成结果，若不错但缺乏特定艺术方向，可进一步迭代优化。 2. 优化描述：如“Prompt：Banana shaped hologram of molten liquid metal,floating in air,isolated on a lilac background,minimalist design,vector illustration,high resolution photographyv 6.1 提示：香蕉形态的液态金属全息图，漂浮在空气中，在淡紫色背景上，极简设计，矢量插图，高分辨率摄影v 6.1”。 在 StableDiffusion 中，图生图功能除文本提词框外还有图片框输入口，可通过图片反推提示词。例如，随便一张照片拖入后，文本输入框旁有两个反推提示词的按钮：CLIP 可反推出完整含义的句子；DeepBooru 可反推出关键词组。但两种方式生成的提示词可能有瑕疵，需手动补充信息。 在使用 AI 生成图片时，若想让生成的图片更可控，可利用 seed 参数反向生成。Midjourney 会用种子号绘图，默认随机，可使用Seed 或same eseed 参数指定相同种子号和提示符以产生类似结尾图片。例如“caiyunyiueji is a cute sports anime girl,style by Miyazaki Hayao,emoji,expression sheet,8kseed 8888”，能保证每次生成相同的图，还可反向利用此特性对已确定的效果图进行微调。
2025-02-26
图片提示词反推工具
以下是关于图片提示词反推工具的相关信息： LayerStyle 副本：根据图片反推提示词，可设置替换词。使用 Google Gemini API 作为后端服务，需在申请 API key，并填到插件根目录下的 api_key.ini 文件中（默认名字为 api_key.ini.example，初次使用需将后缀改为.ini，用文本编辑软件打开，在 google_api_key=后面填入 API key 并保存）。节点选项包括：api（目前只有"geminiprovision"一个选项）、token_limit（生成提示词的最大 token 限制）、exclude_word（需要排除的关键词）、replace_with_word（替换 exclude_word 的关键词）。 PromptEmbellish：输入简单的提示词，输出经过润色的提示词，支持输入图片作为参考。使用 Google Gemini API 作为后端服务，同样需申请并填写 API key。节点选项包括：image（可选项，输入图像作为提示词参考）、api（目前只有"googlegemini"一个选项）、token_limit（生成提示词的最大 token 限制）、discribe（在这里输入简单的描述，支持中文）。 【SD】真人转二次元：图生图功能除文本提词框外还有图片框输入口，可通过图片给与 AI 创作灵感。有两个反推提示词的按钮：CLIP 可通过图片反推出完整含义的句子；DeepBooru 可反推出关键词组。但生成的提示词可能有瑕疵，需手动补充信息。调整宽度和高度使红框匹配图片，同时注意提示词相关性和重绘幅度这两个参数。 第二十一期港风胶片： 活动介绍：墨悠大佬的胶片 lora 模型搭配 flux1 dev 大模型，文艺复兴，唯美胶片复古。lora 模型链接：https://www.liblib.art/modelinfo/e16a07d8be544e82b1cd14c37e217119?from=personal_page 教程： 方法 1：利用上一期活动图片反推工作流，使用唯美港风图片进行反推提示词，在大模型后接一个墨悠_胶片 lo。上一期活动链接： 胶片 lora 链接：https://www.liblib.art/modelinfo/e16a07d8be544e82b1cd14c37e217119?from=personal_page 方法 2：利用抱脸的 joycaption 图片反推提示词，然后在哩布上跑 flux 文生图工作流。joycaption 链接（需要魔法）：https://huggingface.co/spaces/fancyfeast/joycaptionprealpha 文生图工作流： 在哩布上跑文生图：https://www.liblib.art/modelinfo/e16a07d8be544e82b1cd14c37e217119?from=personal_page
2025-02-18
AI文章提示词怎么反推反问
以下是关于 AI 文章提示词反推反问的相关内容： 对于 Midjourney 提示词的解析，其 AI 以半抽象方式处理整体概念，具体性是获得理想结果的关键。可从简单提示或参数修改开始，逐步调整。方法流程包括： 1. 初始提示：如“Prompt：A banana is floating in the airv 6.1 提示：一个香蕉漂浮在空中v 6.1”，查看生成结果，若不理想可进一步优化。 2. 优化描述：例如“Prompt：Banana shaped hologram of molten liquid metal,floating in air,isolated on a lilac background,minimalist design,vector illustration,high resolution photographyv 6.1 提示：香蕉形态的液态金属全息图，漂浮在空气中，在淡紫色背景上，极简设计，矢量插图，高分辨率摄影v 6.1”。 3. 添加调节参数命令。 对于 DeepSeek 深度推理，可借助 AI 分析好文章，如： 1. 找出喜欢的文章投喂给 deepseek R1，然后进行多次询问，如从写作角度、读者角度分析，指出缺点和提升空间，对作者进行侧写等。 在提示词技巧方面，包括： 1. 教训：要求讨论从特定情况中得到的教训，如“分享一个关于企业失败的案例，并从中提炼出的教训。” 2. 观点：要求 AI 考虑多种观点或意见，如“分析支持和反对核能发展的观点。” 3. 常见问题解答：要求 AI 生成常见问题解答（FAQs）列表，如“请提供一份关于瑜伽初学者的常见问题解答列表。” 4. 背景：提供背景信息、数据或上下文以便生成准确内容，如“请结合当前全球碳排放数据谈论气候变化的影响。” 5. 目标：说明回应的目标或目的，如“编写一篇旨在说服读者加入环保运动的文章。” 6. 受众：指定定制内容的目标受众，如“请为初中生编写一篇关于节水的文章。” 7. 范围：界定主题的范围，如“请仅关注瑜伽在减压方面的好处。” 8. 扮演角色：表明要采用的角色或观点，如“从一个科学家的角度阐述太阳能的优点。” 9. 示例：提供所需风格、结构或内容的示例，如“请参考《纽约时报》的文章风格撰写一篇关于自然保护的报道。” 10. 案例研究：要求参考相关案例研究或现实世界示例，如“在关于可持续发展的文章中，介绍一些成功的企业案例。”
2025-02-07
反推提示词工具
以下是关于反推提示词工具的相关信息： ComfyUI 中的相关工具： 在 ComfyUI 里使用 MiniCPM 做图片提示词反推与文本提示词生成，可以和 flux 模型配合生成图片。建议使用量化版本的模型（int4 结尾）以节省显存。 ComfyUIMiniCPMPlus 的安装方法： 1. 进入 ComfyUI 自定义节点目录。 2. 克隆相关仓库。 3. 重启 ComfyUI。 网盘链接：https://pan.quark.cn/s/00b3b6fcd6ca ，下载后放入 ComfyUI 的 models 文件夹下 MiniCPM 文件夹中，没有就新建一个。 其他相关工具： 对于 AI 出图小白，元子提供的解决方案：Stuart:反推 SD 提示词，链接： 对于 Agent 小白，罗文：智能体提示词召唤师，链接： Prompts（提示词）的方法： |技巧|技巧说明|例子|父记录| ||||| |教训|要求讨论从特定情况中得到的教训|分享一个关于企业失败的案例，并从中提炼出的教训。|| |观点|要求 AI 考虑多种观点或意见|分析支持和反对核能发展的观点。|| |常见问题解答|要求 AI 生成常见问题解答（FAQs）列表|请提供一份关于瑜伽初学者的常见问题解答列表。|| |背景|提供背景信息、数据或上下文以便生成准确内容|请结合当前全球碳排放数据谈论气候变化的影响。|| |目标|说明回应的目标或目的（如通知、说服、娱乐）|编写一篇旨在说服读者加入环保运动的文章。|| |受众|指定定制内容的目标受众|请为初中生编写一篇关于节水的文章。|| |范围|界定主题的范围或范围|请仅关注瑜伽在减压方面的好处。|| |扮演角色|表明要采用的角色或观点（如专家、评论家、爱好者）|从一个科学家的角度阐述太阳能的优点。|| |示例|提供所需风格、结构或内容的示例|请参考《纽约时报》的文章风格撰写一篇关于自然保护的报道。|| |案例研究|要求参考相关案例研究或现实世界示例|在关于可持续发展的文章中，介绍一些成功的企业案例。||
2025-01-15
请你用简单易懂的语言告诉我comfyui和SD的区别
ComfyUI 和 SD（Stable Diffusion）主要有以下区别： 1. UI 界面：SD WebUI 的 UI 更接近传统产品，有很多输入框和按钮；ComfyUI 的 UI 界面复杂，除输入框外，还有很多块状元素和复杂的连线。 2. 学习成本：ComfyUI 的学习成本比 SD WebUI 高。 3. 工作流方式：ComfyUI 主要通过连线搭建自动化工作流，从左到右依次运行；SD WebUI 则通过输入框和按钮配置参数。 4. 灵活性和拓展性：ComfyUI 具有更高的自由和拓展性，可以根据自身需求搭建、调整甚至改造工作流，无需依赖开发者，还能开发并改造节点；SD WebUI 在这方面相对较弱。 5. 功能实现：从功能角度看，两者提供的功能本质相同，但 ComfyUI 通过改变节点方式能实现不同功能，如一个节点是直接加载图片，另一个是通过画板绘制图片，从而实现导入图片生图和绘图生图等不同功能。
2025-03-08
你有内置sd吗
Stable Diffusion（SD）相关知识如下： SD 内置了 LyCORIS，使用 LoRA 模型较多，其与 LyCORIS 相比可调节范围更大。LoRA 和 LyCORIS 的后缀均为.safetensors，体积较主模型小，一般在 4M 300M 之间。管理模型时可进入 WebUl 目录下的 models/LoRA 目录，在 WebUl 中使用时，可在 LoRA 菜单中点击使用，也可直接使用 Prompt 调用。 SD 的安装：系统需为 Win10 或 Win11。Win 系统查看配置，包括查看电脑系统（在桌面上找到“我的电脑”，鼠标右键点击，点击“属性”，查看 Windows 规格）和查看电脑配置（需要满足电脑运行内存 8GB 以上、是英伟达（NVIDA）的显卡、显卡内存 4GB 以上。打开任务管理器：同时按下 ctrl + shift + esc，查看电脑运行内存和显卡内存）。配置达标可跳转至对应安装教程页，如 【SD】无需 Lora，一键换脸插件 Roop：勾选相关项目，确保包含 Python 和 C++包。更改安装位置，点击右下角安装。安装时间长需耐心等待。安装好后，打开 SD 文件目录下的相关文件夹，在地址栏输入“cmd”回车，在打开的 dos 界面粘贴“python m pip install insightface==0.7.3 user”安装 insightface。若此阶段出错，建议下载最新的秋叶 4.2 整合包（6 月 23 号更新），后台回复【SD】下载。安装完成后，重新打开启动器，后台会继续下载模型，需全程科学上网。Roop 插件主要适用于真实人脸替换，对二次元人物作用不大。选用真实系模型，设置相关参数后生成，若人脸像素偏低模糊，可发送到“图生图”进行重绘。
2025-03-06
sd的关键词可以用中文吗
在 Stable Diffusion 中，通常只能识别英语关键词。但不用担心，您可以直接使用翻译工具将中文关键词翻译成英语后输入。比如，若您想生成一个漂亮的小姐姐站在大街上，可以写成“1 girl, beautiful, standing, street”这样的形式。输入关键词时，常用一个个单词并用英文状态下的逗号隔开。不过，对于中文字体的处理，也有一些方法，如将中文字做成白底黑字存成图片样式，再使用文生图的方式等。在输入关键词时，还可以先写一些提升照片质量的词语，使生成的照片更加精致。
2025-03-06
中文可以用sd吗
中文可以使用 Stable Diffusion（SD）。以下是使用 SD 制作中文文字的一些方法和步骤： 1. 将中文字做成白底黑字，存成图片样式。 2. 使用文生图的方式，使用大模型真实系，作者用的 realisticVisionV20_v20.safetensorsControlNet 预设置。 3. 输入关键词，如奶油的英文单词“Cream+Cake”（加强质感），反关键词：“Easynegative”（负能量），反复刷机，得到满意的效果即可。 4. 同理可输出 C4D 模型，可自由贴图材质效果，如“3d,blender,oc rendering”。 5. 如果希望有景深效果，也可以打开“depth”（增加阴影和质感）。 6. 打开高清修复，分辨率联系 1024 以上，步数：29 60。 SD 是 Stable Diffusion 的简称，是由初创公司 StabilityAI、CompVis 与 Runway 合作开发，2022 年发布的深度学习文本到图像生成模型。它主要用于根据文本的描述产生详细图像，是一种扩散模型（diffusion model）的变体，叫做“潜在扩散模型”（latent diffusion model;LDM）。其代码模型权重已公开发布，可以在大多数配备有适度 GPU 的电脑硬件上运行。当前版本为 2.1 稳定版（2022.12.7），源代码库：github.com/StabilityAI/stablediffusion 。
2025-03-06
b站的秋葉aaaki大佬对sd做过什么
B 站的秋葉 aaaki 大佬在 SD 方面的相关贡献包括： 1. 提供了 SD 的开源整合包和 LoRA 模型训练一键包。最新一次更新整合包版本为 v4.5，于 11 月更新。此整合包支持 SDXL，预装多种必须模型，无需安装 python、cuda、git，解压即用。获取方式为一键三连+关注私信发送“整合包”。 2. 其相关内容有助于用户了解 SD 的工作原理和基本功能，对于还未接触过 AI 绘画的朋友有启蒙作用。很多人在安装 SD 软件时会参考他的视频。 您可以通过以下链接获取更多相关资源： 整合包百度盘：https://pan.baidu.com/s/1MjO3CpsIvTQIDXplhE0OA?pwd=aaki LoRA 模型训练一键包百度盘：https://pan.baidu.com/s/1TBaoLkdJVjk_gPpqbUzZFw ，提取码：p8uy
2025-03-06
sd是哪位大佬做的
SD 是 Stable Diffusion 的简称。它是由初创公司 StabilityAI、CompVis 与 Runway 合作开发，于 2022 年发布的深度学习文本到图像生成模型，主要用于根据文本的描述产生详细图像。Stable Diffusion 是一种扩散模型（diffusion model）的变体，叫做“潜在扩散模型”（latent diffusion model;LDM）。其代码模型权重已公开发布，可以在大多数配备有适度 GPU 的电脑硬件上运行，当前版本为 2.1 稳定版（2022.12.7）。源代码库：github.com/StabilityAI/stablediffusion 。我们可以通过一系列的工具搭建准备，使用 SD 进行想要的图片 AIGC 。 此外，还有与 SD 相关的 Fooocus，它使用的是最新推出的 SDXL 1.0 模型，对 stable diffusion 和 Midjourney 做了结合升级。保留了 SD 的开源属性，可以部署到本地免费使用，在操作界面吸取了 Midjourney 简洁的特点，省去了 WebUI 中复杂的参数调节，让用户可以专注于提示和图像。配置要求为本地部署，需要不低于 8GB 的内存和 4GB 的英伟达显卡。Fooocus 介绍/安装包下载：https://github.com/lllyasviel/Fooocus 。 另外，在 Video Battle 视频挑战中，有一种方法是使用 SD 的分支版本 CONTROLNET 大佬开发的 Forge，特点是支持图生视频、图生 SD，而且对低端显卡支持良好。下载链接为：https://github.com/lllyasviel/stablediffusionwebuiforge/releases/download/latest/webui_forge_cu121_torch21.7z ，解压后，优先运行 update.bat 进行升级，然后再运行 run.bat ，接着就打开了和 SD 基本一模一样的界面。核心区别在于 FORGE 增加了 2 个王炸功能，SVD【图生视频】和 Z123【图生 3D】。
2025-03-06
索引模型哪家的免费？
以下是一些免费的索引模型： 1. Trae 标配的 Claude3.5sonnet 模型免费不限量。Trae 是一款与 AI 深度集成，提供智能问答、代码自动补全以及基于 Agent 的 AI 自动编程能力的 IDE 工具，其编辑器所有功能原生支持中文，上手门槛低。 2. Stability AI 社区发布的模型，个人和组织可以免费将其用于非商业用途，包括科学研究；初创公司、中小型企业和创作者可以免费将其用于商业目的，只要年总收入低于 100 万美元。 此外，OpenAI 还发布了开源模型，包括 PointE、Whisper、Jukebox 和 CLIP。访问供研究人员的模型索引（https://platform.openai.com/docs/modelindexforresearchers）可详细了解其研究论文中介绍的模型以及 InstructGPT 和 GPT3.5 等模型系列之间的差异。
2025-03-13
大模型怎么进行评测的
大模型的评测方式多种多样，以下为您介绍一些常见的评测方法和相关示例： 1. 斯坦福发布的大模型排行榜 AlpacaEval： 相对于人工标注，全自动化的 AlpacaEval 仅需花费约 1/22 的经济成本和 1/25 的时间成本。 从统计角度出发，检验什么评估数据可以最好地区分模型。 支持两种模式的模型评估方式： alpaca_eval：直接根据目标模型输出的响应来评估模型。 alpaca_eval evaluate_from_model：根据 HuggingFace 已注册模型或这 API 提供商来端到端评测模型。 评测过程分为以下 3 步： 选择一个评估集，并计算指定为 model_outputs 的输出。默认情况下，使用来自 AlpacaEval 的 805 个示例。 计算 golden 输出 reference_outputs。默认情况下，在 AlpacaEval 上使用 textdavinci003 的输出。 通过 annotators_config 选择指定的自动标注器，它将根据 model_outputs 和 reference_outputs 计算胜率。这里建议使用 alpaca_eval_gpt4 或 claude。根据不同的标注器，使用者还需要在环境配置中设定 API_KEY。 2. 小七姐的测评： 测评目标：测评三家国产大模型，以同组提示词下 ChatGPT 4.0 生成的内容做对标参照。 能力考量：包括复杂提示词理解和执行（结构化提示词）、推理能力（CoT 表现）、文本生成能力（写作要求执行）、提示词设计能力（让模型设计提示词）、长文本归纳总结能力（论文阅读）。 测评轮次：分为复杂提示词理解和执行、推理能力、文本生成能力、提示词设计能力、长文本归纳总结能力等多轮，每轮都有不同的任务和模型测试次数。 3. LLM 开源中文大语言模型及数据集集合中的评测： FlagEval（天秤）大模型评测体系及开放平台：旨在建立科学、公正、开放的评测基准、方法、工具集，协助研究人员全方位评估基础模型及训练算法的性能，同时探索利用 AI 方法实现对主观评测的辅助，大幅提升评测的效率和客观性。创新构建了“能力任务指标”三维评测框架，细粒度刻画基础模型的认知能力边界，可视化呈现评测结果。 CEval：构造了一个覆盖人文，社科，理工，其他专业四个大方向，52 个学科（微积分，线代…），从中学到大学研究生以及职业考试，一共 13948 道题目的中文知识和推理型测试集。此外还给出了当前主流中文 LLM 的评测结果。 SuperCLUElyb：中文通用大模型匿名对战评价基准，这是一个中文通用大模型对战评价基准，它以众包的方式提供匿名、随机的对战。他们发布了初步的结果和基于 Elo 评级系统的排行榜。
2025-03-13
什么是大模型
大模型通俗来讲，是输入大量语料，让计算机获得类似人类的“思考”能力，从而能够理解自然语言，并进行文本生成、推理问答、对话、文档摘要等工作。 可以用“上学参加工作”这件事来类比大模型的训练和使用过程： 1. 找学校：训练大模型需要大量计算，GPU更合适，只有购买得起大量GPU的才有资本训练。 2. 确定教材：大模型需要的数据量特别多，几千亿序列（Token）的输入基本是标配。 3. 找老师：即采用合适的算法讲述“书本”中的内容，让大模型更好理解Token之间的关系。 4. 就业指导：学完知识后，为让大模型更好胜任某一行业，需要进行微调（fine tuning）指导。 5. 搬砖：就业指导完成后，正式干活，比如进行翻译、问答等，在大模型里称之为推导（infer）。 在大模型中，Token被视为模型处理和生成的文本单位，会被数字化形成词汇表，便于计算机处理。为让计算机理解Token之间的联系，还需把Token表示成稠密矩阵向量，这个过程称为embedding，常见算法有基于统计的Word2Vec、GloVe，基于深度网络的CNN、RNN/LSTM，基于神经网络的BERT、Doc2Vec等。以Transform为代表的大模型采用自注意力（Selfattention）机制来学习不同token之间的依赖关系，生成高质量embedding。 大模型的“大”指用于表达token之间关系的参数多，主要是模型中的权重（weight）与偏置（bias），例如GPT3拥有1750亿参数，而词汇表token数只有5万左右。 所谓的大模型，简而言之，就是拥有庞大参数数量的模型，通过处理和理解海量数据，能够胜任一系列复杂任务。大模型强大的原因在于庞大的参数数量和大量的数据训练。这些参数是模型在学习过程中不断调整的核心，帮助模型更深入地理解和生成数据。同时，大量的数据，无论是文本、图像还是音频数据，都是大模型学习的基础，使其能够掌握丰富的知识和技能。
2025-03-13
我想跟大概40岁左右的科研从业者科普人工智能和大模型的相关知识，挑选合适的内容作为提纲。
以下是为您挑选的向 40 岁左右科研从业者科普人工智能和大模型的提纲内容： 一、AI 大模型的基本概念 1. 生成式 AI 生成的内容称为 AIGC 2. 相关技术名词 AI：人工智能 机器学习：电脑找规律学习，包括监督学习、无监督学习、强化学习 监督学习：有标签的训练数据，学习输入和输出之间的映射关系，包括分类和回归 无监督学习：学习的数据没有标签，算法自主发现规律，经典任务如聚类 强化学习：从反馈里学习，最大化奖励或最小化损失，类似训小狗 深度学习：参照人脑有神经网络和神经元，因层数多称为深度，神经网络可用于多种学习方式 生成式 AI：可以生成文本、图片、音频、视频等内容形式 LLM：大语言模型，生成图像的扩散模型不是大语言模型，大语言模型的生成只是处理任务之一，如谷歌的 BERT 模型可用于语义理解 二、AI 大模型的技术里程碑 1. 2017 年 6 月，谷歌团队发表论文《Attention is All You Need》，首次提出 Transformer 模型，完全基于自注意力机制处理序列数据，不依赖循环神经网络或卷积神经网络 三、AI 模型及相关进展 1. 包括视频生成模型、相关论文，以及 AI 在诺奖和蛋白质研究领域的应用等 2. 人工智能发展历程：从图灵测试、早期的图灵机器人和 ELISA，到 IBM 的语音控制打印机、完全由人工智能创作的小说、微软的同声传译系统，再到 OpenAI 发布 ChatGPT 模型，经历了萌芽、积累沉淀到如今大模型和多模态模型百花齐放的阶段 3. 大模型的基石：由数据、算法、算力构成，算法有技术架构的迭代，如英伟达的显卡辅助模型训练，数据质量对生成理想的大模型至关重要 4. 针对弱智 8 的问题对大模型进行测试，开展让大模型回复问题并找出真人回复的活动，且国内大模型的回答能力有很大改进 5. 大语言模型的特点：早期回复缺乏情感，如今有所改进，后续将体验几个大模型的回复场景
2025-03-13
AI、AIGC、大模型这三者之间有什么关系
AI（人工智能）是一种让机器展现智慧的目标。AIGC（人工智能生成内容）是利用人工智能技术生成包括文本、图像、音频和视频等内容的新型生产方式。大模型如大语言模型（LLM）是具有大量参数的“深度学习”模型。 生成式 AI 是一种让机器产生复杂有结构内容的目标。机器学习是让机器自动从资料中找公式的手段，深度学习是更厉害的类神经网络且有大量参数的手段。 AIGC 技术可用于多种应用，如自动撰写新闻文章、生成艺术画作等。ChatGPT 是 AIGC 技术在文本生成领域的一个应用实例，它是基于大型语言模型（LLM）的对话机器人，能根据用户输入生成连贯且相关的文本回复。 2017 年 6 月，谷歌团队发表论文《Attention is All You Need》，首次提出了 Transformer 模型，它基于自注意力机制处理序列数据，不依赖循环神经网络（RNN）或卷积神经网络（CNN）。
2025-03-13
懂编程但是不了解大模型的工程师如何系统的学习深度学习？
对于懂编程但不了解大模型的工程师，系统学习深度学习可以参考以下路径： 1. 掌握深度学习和自然语言处理基础： 学习机器学习、深度学习、神经网络等基础理论。 掌握自然语言处理基础，如词向量、序列模型、注意力机制等。 相关课程推荐吴恩达的深度学习课程、斯坦福 cs224n 等。 2. 理解 Transformer 和 BERT 等模型原理： 熟悉 Transformer 模型架构及自注意力机制原理。 掌握 BERT 的预训练和微调方法。 阅读相关论文，如 Attention is All You Need、BERT 论文等。 3. 学习 LLM 模型训练和微调： 进行大规模文本语料预处理。 熟悉 LLM 预训练框架，如 PyTorch、TensorFlow 等。 学会微调 LLM 模型进行特定任务迁移。 参考相关资源，如 HuggingFace 课程、论文及开源仓库等。 4. LLM 模型优化和部署： 掌握模型压缩、蒸馏、并行等优化技术。 了解模型评估和可解释性。 熟悉模型服务化、在线推理、多语言支持等。 运用相关开源工具，如 ONNX、TVM、BentoML 等。 5. LLM 工程实践和案例学习： 结合行业场景，进行个性化的 LLM 训练。 分析和优化具体 LLM 工程案例。 研究 LLM 新模型、新方法的最新进展。 6. 持续跟踪前沿发展动态： 关注顶会最新论文、技术博客等资源。 此外，为了更好地理解相关技术原理和建立框架，还可以了解以下内容： 1. 概念：生成式 AI 生成的内容称为 AIGC。 2. 概念与关系： AI 即人工智能。 机器学习是电脑找规律学习，包括监督学习、无监督学习、强化学习。 监督学习使用有标签的训练数据，目标是学习输入和输出之间的映射关系，包括分类和回归。 无监督学习的数据没有标签，算法自主发现规律，经典任务包括聚类。 强化学习从反馈里学习，最大化奖励或最小化损失，类似训小狗。 深度学习是一种参照人脑有神经网络和神经元的方法（因有很多层所以叫深度），神经网络可用于监督学习、无监督学习、强化学习。 生成式 AI 可以生成文本、图片、音频、视频等内容形式。 LLM 是大语言模型，对于生成式 AI，生成图像的扩散模型不是大语言模型；对于大语言模型，生成只是其中一个处理任务，如谷歌的 BERT 模型，可用于语义理解（不擅长文本生成），如上下文理解、情感分析、文本分类。 3. 技术里程碑：2017 年 6 月，谷歌团队发表论文《Attention is All You Need》，首次提出了 Transformer 模型，它完全基于自注意力机制来处理序列数据，而不需要依赖于循环神经网络或卷积神经网络。
2025-03-13