Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

Flux 的lora模型训练教程

Answer

以下是 Flux 的 Lora 模型训练教程：

  1. 模型准备：
    • 下载所需模型，如 t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors、flux1-dev.safetensors。
    • 注意：
      • 不使用时模型存放位置随意，只要知晓路径，后续会引用。
      • 训练建议使用 flux1-dev.safetensors 版本的模型和 t5xxl_fp16.safetensors 版本的编码器。
  2. 下载训练脚本：
    • 夸克网盘链接：https://pan.quark.cn/s/ddf85bb2ac59
    • 百度网盘链接：https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq 提取码：pfsq
  3. 训练步骤：
    • 进入厚德云-模型训练-数据集：https://portal.houdeyun.cn/sd/dataset
    • 步骤一·创建数据集：
      • 在数据集一栏中，点击右上角创建数据集。
      • 输入数据集名称。
      • 可以提前将图片和标签打包成 zip 上传，zip 文件里图片名称与标签文件应当匹配，如图片名"1.png"，对应的达标文件就叫"1.txt"。也可以一张一张单独上传照片。
      • 上传 zip 以后等待一段时间，确认创建数据集，返回到上一个页面，等待一段时间后上传成功，可点击详情检查，预览数据集的图片以及对应的标签。
    • 步骤二·Lora 训练：
      • 点击 Flux，基础模型会默认是 FLUX 1.0D 版本。
      • 选择数据集，点击右侧箭头，会跳出所有上传过的数据集。
      • 触发词可有可无，取决于数据集是否有触发词。
      • 模型效果预览提示词则随机抽取一个数据集中的标签填入即可。
      • 训练参数这里可以调节重复次数与训练轮数，厚德云会自动计算训练步数。如果不知道如何设置，可以默认 20 重复次数和 10 轮训练轮数。
      • 可以按需求选择是否加速，点击开始训练，会显示所需要消耗的算力。
      • 然后等待训练，会显示预览时间和进度条。训练完成的会显示出每一轮的预览图。鼠标悬浮到想要的轮次模型，中间会有个生图，点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。
  4. 低配置方案：
    • 开源社区对低配置方案进行了优化，NF4 来自 controlnet 的作者，GGUF 则包含多个版本可以使用。
    • NF4 模型下载：https://huggingface.co/lllyasviel/flux1-dev-bnb-nf4/blob/main/flux1-dev-bnb-nf4.safetensors ，放置在 ComfyUI/models/checkpoint/中（不像其他 Flux 模型那样放置在 UNET 中），NF4 配套节点插件：git clone https://github.com/comfyanonymous/ComfyUI_bitsandbytes_NF4.git
    • GGUF 模型下载：Flux GGUF 模型：https://huggingface.co/city96/FLUX.1-dev-gguf/tree/main ，GGUF 配套节点插件：GGUF 节点包：https://github.com/city96/ComfyUI-GGUF 。
    • 值得一提的是在最新版本的 ComfyUI 中 GGUF 的节点插件可以在 Manager 管理器中搜到下载安装，NF4 的配套节点插件则搜不到。
    • 注意使用精度优化的低配模型的话，工作流和原版是不一样的。此处没有专门列举。
    • 自己改的话就是把上面官方的 fp8 的工作流，只需把底模的节点换成 NF4 的或者 GUFF 的即可。
    • 相关生态发展很快，有 Lora、Controlnet、IP-adpter 相关生态建设非常速度，以及字节最近发布的 Flux Hyper lora 是为了 8 步快速生图。
Content generated by AI large model, please carefully verify (powered by aily)

References

郑敏轩 ：Flux的Lora模型训练

作者@郑敏轩大家好，上次讲了Flux简介，我们这次来讲讲Flux的Lora训练首先你要确保你已经正确安装使用了Flux的各个模块~~哈哈，开个玩笑，其实不用安装使用也是可以训练的~但是你要把当时需要的几个模型下载下来：t5xxl_fp16.safetensorsclip_l.safetensorsae.safetensorsflux1-dev.safetensors注意：1.你不使用的话他们放到哪里都可以，甚至放一起一个文件夹，只要你知道“路径”，我们后面要引用到“路径”2.因为是训练，不是跑图，跑图我们可以寻求降低方案，训练的话，哈哈模型就用flux1-dev.safetensors这个版本，编码器也用t5xxl_fp16.safetensors这个版本最好。好，接下来我们使用青龙的训练脚本，在此给青龙大大跪拜一下~阿弥陀佛~[heading2]下载脚本[content]网盘链接：夸克网盘链接：https://pan.quark.cn/s/ddf85bb2ac59通过百度网盘分享的文件：Flux_train_20.4.zip链接：https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq提取码：pfsq--来自百度网盘超级会员V3的分享

10-0基础训练大模型

进入厚德云-模型训练-数据集https://portal.houdeyun.cn/sd/dataset[heading2]步骤一·创建数据集[content]在数据集一栏中，点a击右上角创建数据集输入数据集名称这个zip文件可以是包含图片+标签txt，也可以只有图片没有打标文件（之后你可以在c站使用它的自动打标功能）你也可以一张一张单独上传照片，但还是建议提前把图片和标签打包成zip上传Zip文件里图片名称与标签文件应当匹配例如:图片名"1.png",对应的达标文件就叫"1.txt"。上传zip以后等待一段时间确认创建数据集返回到上一个页面，等待一段时间后就会上传成功，可以点击详情检查可以预览到数据集的图片以及对应的标签[heading2]步骤二·Lora训练[content]点击Flux，基础模型会默认是FLUX 1.0D版本选择数据集，点击右侧箭头，会跳出你所有上传过的数据集触发词可有可无，取决于你的数据集是否有触发词模型效果预览提示词则随机抽取一个你数据集里的标签填入即可训练参数这里可以调节重复次数与训练轮数，厚德云会自动计算训练步数如果不知道如何设置，可以默认20重复次数和10轮训练轮数可以按需求选择是否加速，点击开始训练，会显示所需要消耗的算力然后就可以等待训练了，会显示预览时间和进度条训练完成的会显示出每一轮的预览图鼠标悬浮到你想要的轮次模型，中间会有个生图，点击会自动跳转到使用此lora生图的界面。点击下方的下载按钮则会自动下载到本地

工具教程：Flux

开源社区迅速展开了对低配置方案的优化，NF4来自我们controlnet的作者，GGUF则包含多个版本可以使用[heading4]NF4模型下载[content]https://huggingface.co/lllyasviel/flux1-dev-bnb-nf4/blob/main/flux1-dev-bnb-nf4.safetensors放置在ComfyUI/models/checkpoint/中（不像其他Flux模型那样放置在UNET中）NF4配套节点插件git clone https://github.com/comfyanonymous/ComfyUI_bitsandbytes_NF4.git[heading4]GGUF模型下载[content]Flux GGUF模型：https://huggingface.co/city96/FLUX.1-dev-gguf/tree/mainGGUF配套节点插件GGUF节点包：https://github.com/city96/ComfyUI-GGUF以下是使用GGUF生图：值得一提的是在最新版本的comfyUI中GGUF的节点插件是可以在Manager管理器中搜到下载安装的，NF4的配套节点插件则搜不到。注意使用精度优化的低配模型的话，工作流和原版是不一样的。此处没有专门列举。[workflow.json](https://bytedance.feishu.cn/space/api/box/stream/download/all/NUMabE5CcoxYVTxoSQAcpCslnWd?allow_redirect=1)自己改的话就是把上面官方的这个fp8的工作流，只需把底模的节点换成NF4的或者GUFF的即可。相关生态发展很快，有Lora、Controlnet、IP-adpter相关生态建设非常速度，以及字节最近发布的Flux Hyper lora是为了8步快速生图。下节我们先讲讲Flux的lora训练。

Others are asking
flux inpainting 是怎么基于diffusersion train的inpainting
Flux inpainting 基于 diffusion train 的 inpainting 通常涉及以下方面： 训练扩散模型在特定的表示上，能够在降低复杂度和保留细节之间达到最优平衡点，显著提高视觉保真度。在模型架构中引入交叉注意力层，使其成为强大且灵活的生成器，能够处理诸如文本和边界框等一般条件输入，实现基于高分辨率卷积的合成。 关于 Midjourney 的训练 prompt 方面： Midjourney 会定期发布新的模型版本以提高效率、连贯性和质量。最新模型是默认的，但也可以通过 version 或 v 参数或使用 /settings 命令选择其他模型版本。不同模型在不同类型的图像上表现出色。Midjourney V5 模型是最新且最先进的模型，于 2023 年 3 月 15 日发布。使用该模型可在 prompt 末尾添加 v 5 参数，或通过 /settings 命令选择 MJ Version 5。该模型具有很高的连贯性，擅长解释自然语言 prompt，分辨率更高，并支持诸如 tile 等高级功能。V5 基础模型具有更广泛的风格范围、对 prompt 响应更灵敏、图像质量更高（分辨率提高 2 倍）、动态范围改进、图像细节更丰富且更准确、文本干扰更少等新特点，还支持 tile 参数实现无缝平铺（实验性）、支持大于 2:1 的 ar 宽高比（实验性）、支持 iw 权衡图像 prompt 与文本 prompt 以及特定的风格和 prompt 方式。
2025-01-22
FLUX模型训练
以下是关于 Flux 的 Lora 模型训练的详细步骤： 1. 模型准备： 下载所需模型，包括 t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors、flux1dev.safetensors。 注意：不使用时模型存放位置不限，但要知晓路径；训练时建议使用 flux1dev.safetensors 和 t5xxl_fp16.safetensors 版本。 2. 下载脚本： 夸克网盘链接：https://pan.quark.cn/s/ddf85bb2ac59 百度网盘链接：https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq 提取码：pfsq 3. 数据集准备： 建议使用自然语言，与之前 SDXL 的训练类似。 数据集存放位置：.Flux_train_20.4\\train\\qinglong\\train 。 若未准备数据集，此路径中有试验数据集可直接使用。 4. 运行训练：约 1 2 小时即可完成训练。 5. 验证和 lora 跑图：若有 comfyUI 基础，在原版工作流的模型后面，多加一个 LoraloaderModelOnly 的节点，自行选择 Lora 并调节参数。 6. 修改脚本路径和参数： 若显卡为 16G，右键 16G 的 train_flux_16GLora 文件；若显卡为 24G 或更高，右键 24G 的 train_flux_24GLora 文件。 用代码编辑器打开，理论上只需修改红色部分，包括底模路径、VAE 路径、数据集路径、clip 路径和 T5xxl 路径。注意路径格式，避免错误。蓝色部分为备注名称，可改可不改。建议经验丰富后再修改其他深入参数，并做好备份管理。
2025-01-20
flux提示词示例
以下是一些关于 flux 提示词的示例： 在不同主题方面，如文本概括（https://www.promptingguide.ai/zh/introduction/examples%E6%96%87%E6%9C%AC%E6%A6%82%E6%8B%AC）、信息提取（https://www.promptingguide.ai/zh/introduction/examples%E4%BF%A1%E6%81%AF%E6%8F%90%E5%8F%96）、问答（https://www.promptingguide.ai/zh/introduction/examples%E9%97%AE%E7%AD%94）、文本分类（https://www.promptingguide.ai/zh/introduction/examples%E6%96%87%E6%9C%AC%E5%88%86%E7%B1%BB）、对话（https://www.promptingguide.ai/zh/introduction/examples%E5%AF%B9%E8%AF%9D）、代码生成（https://www.promptingguide.ai/zh/introduction/examples%E4%BB%A3%E7%A0%81%E7%94%9F%E6%88%90）、推理（https://www.promptingguide.ai/zh/introduction/examples%E6%8E%A8%E7%90%86），通过示例介绍说明如何使用精细的提示词来执行不同类型的任务。 在 Claude2 中文精读中，构建提示词时可以添加示例（可选）。您可以通过在提示词中加入一些示例，让 Claude 更好地了解如何正确执行任务。提供示例的方式可以是以先前对话的形式，用不同的对话分隔符，例如用“我”代替“Human:”，用“你”代替“Assistant:”；也可以直接提供例子。决定哪种方法更有效取决于具体任务，建议尝试两种方法以确定更好的结果。 在市场营销类中，如赛博佛祖（Kyle）的示例，其角色设定为熟悉佛教经典、境界很高的佛学大师，能为对人生感到迷茫的人指引方向。具体设定包括引用相关佛教经典语录并解释含义，提供有效建议等，并给出了详细的约束条件和链接地址（）。
2025-01-20
FLUX低显存怎么安装
如果您的显存较低，安装 FLUX 可以参考以下步骤： 1. NF4 模型下载： 链接：https://huggingface.co/lllyasviel/flux1devbnbnf4/blob/main/flux1devbnbnf4.safetensors 放置位置：ComfyUI/models/checkpoint/中（不像其他 Flux 模型那样放置在 UNET 中） NF4 配套节点插件：git clone https://github.com/comfyanonymous/ComfyUI_bitsandbytes_NF4.git 2. GGUF 模型下载： 链接：Flux GGUF 模型：https://huggingface.co/city96/FLUX.1devgguf/tree/main GGUF 配套节点插件：GGUF 节点包：https://github.com/city96/ComfyUIGGUF 值得一提的是在最新版本的 ComfyUI 中，GGUF 的节点插件可以在 Manager 管理器中搜到下载安装，NF4 的配套节点插件则搜不到。 3. 对于 8G 以下显存的方案： flux1devbnbnf4.safetensors 放入 ComfyUI\\models\\checkpoints 文件夹内。 ComfyUI_c_NF4 节点：https://github.com/comfyanonymous/ComfyUI_bitsandbytes_NF4 注：如果报错，请更新 BitsandBytes 库。下载放入解压后 ComfyUI\\custom_node 文件夹内，重启 ComfyUI，如果之前没更新，更新后再重启。 相关资源链接： BitsandBytes Guidelines and Flux：https://github.com/lllyasviel/stablediffusionwebuiforge/discussions/981 ComfyUI_bitsandbytes_NF4 节点：https://github.com/comfyanonymous/ComfyUI_bitsandbytes_NF4 flux1devbnbnf4.safetensors：https://huggingface.co/lllyasviel/flux1devbnbnf4/blob/main/flux1devbnbnf4.safetensors 注意使用精度优化的低配模型的话，工作流和原版是不一样的。自己改的话就是把上面官方的这个 fp8 的工作流，只需把底模的节点换成 NF4 的或者 GUFF 的即可。相关生态发展很快，有 Lora、Controlnet、IPadpter 相关生态建设非常速度，以及字节最近发布的 Flux Hyper lora 是为了 8 步快速生图。
2025-01-09
comy UI FLUX 低显存
ComfyUI FLUX 低显存运行的相关内容如下： 工作流： 目的是让 FLUX 模型能在较低的显存情况下运行。 分阶段处理思路： 先使用 Flux 模型在较低分辨率下进行初始生成以提高效率。 采用两阶段处理，先用 Flux 生成，后用 SDXL 放大，有效控制显存的使用。 使用 SD 放大提升图片质量。 工作流的流程： 初始图像生成（Flux）： UNETLoader：加载 flux1dev.sft 模型。 DualCLIPLoader：加载 t5xxl 和 clip_l 模型。 VAELoader：加载 fluxae.sft。 CLIPTextEncode：处理输入提示词。 BasicGuider 和 RandomNoise：生成初始噪声和引导。 SamplerCustomAdvanced：使用 Flux 模型生成初始图像。 VAEDecode：解码生成的潜在图像。 初始图像预览：PreviewImage 显示 Flux 生成的初始图像。 图像放大和细化（SDXL）： CheckpointLoaderSimple：加载 SDXL 模型（fenrisxl_SDXLLightning.safetensors）。 UpscaleModelLoader：加载 RealESRGAN_x4.pth 用于放大。 VAELoader：加载 sdxl_vae.safetensors。 ImageSharpen：对初始图像进行锐化处理。 UltimateSDUpscale：使用 SDXL 模型和放大模型进行最终的放大和细化。 最终图像预览：PreviewImage 显示最终放大和细化后的图像。 FLUX 模型的选择： 用半精度 fp8 dev 版本（能用单精度 dev 版本的尽量用），也适合 fp8 的 T8 模型，降低对内存的占用。 记得把 weight dtype 也设置为 fp8，降低对显存的使用。 建议：先关闭高清放大部分，等跑出来效果满意的图片后，再开启放大。 ComfyUI 简介： 是一个基于节点流程式的 stable diffusion AI 绘图工具 WebUI，可以想象成集成了 stable diffusion 功能的 substance designer，通过将 stable diffusion 的流程拆分成节点，实现更加精准的工作流定制和完善的可复现性。 优势： 对显存要求相对较低，启动速度快，出图速度快。 具有更高的生成自由度。 可以和 webui 共享环境和模型。 可以搭建自己的工作流程，可以导出流程并分享给别人，报错的时候能清晰发现错误出在哪一步。 生成的图片拖进后会还原整个工作流程，模型也会选择好。 劣势： 操作门槛高，需要有清晰的逻辑。 生态没有 webui 多（常用的都有），也有一些针对 Comfyui 开发的有趣插件。 官方链接：从 github 上下载作者部署好环境和依赖的整合包，按照官方文档安装即可：https://github.com/comfyanonymous/ComfyUI
2025-01-08
flux lora调参数，我训练出来的人物模型和数据集的人物图片不像，出现这种情况的原因都有哪些，应该调整哪些参数，我需要我的flux模型训练出来的模型是一致性还原性，和泛化性比较不错的，按照这个方向给我指导
以下是关于 flux lora 调参数以获得一致性、还原性和泛化性较好的人物模型的指导： 打标环节： 选择基础大模型，如“麦橘写实”，并为 lora 命名。 将照片导入，选择合适分辨率，可勾选“脸部加强训练”，然后进行预处理。手动裁剪图片比自动裁剪更可靠。 预处理后会出现脸部和整体文件夹，且每张照片自动打好 tag 标签。 可为整体添加统一标签，也可单独修改每张图片的标签。标签有助于 AI 理解图片，描述越详细，人物变化可能越多，泛化性可能越好。仔细检查每张图片的标签，其质量会影响人物 lora 的泛化性。 参数调整环节： 大部分参数是固定的，主要的几个按照人物参数配置一遍。后期根据生成结果再调整。 炼丹环节： 例如 18 张脸部图片，20 张整体图片，各训练 50 步，循环训练 10 次，并行步数为 1。训练总步数和时长会有所不同，loss 值可作为参考，但最终效果仍需通过测试判断。 此外，在 Lora 串联方面，多个 Lora 串联时左右顺序不影响结果，可复制并点对点连接。CLIP 层 1 和 2 的效果不同，加 Lora 时某些 Lora 可能更适合 2。Lora 可用于生成底模无法画出的内容。在运行中点击取消可打断正在渲染跑的图。图像放大可通过 up scale image using model 节点，选择放大模型，用 resize 节点调整尺寸，再用编码器和采样器处理。放大模型直接放大的图像效果不佳，需再次采样增加细节。添加飞桨缺失节点可通过拖入工作流查看标红节点，从管理器安装或从 GitHub 获取节点包放入文件管理系统。采样器和调度器参数设置建议参考模型作者推荐，并结合自己调试。Web UI 中 Lora 库有刷新按钮，将 Lora 丢到文件夹后多点几次刷新即可。
2025-01-04
想知道lora是什么，怎么使用
LoRA 是一种在图像生成领域具有重要作用的技术。以下是关于 LoRA 的详细介绍和使用方法： LoRA 可以固定图像的特征，包括人物特征、动作特征和照片风格等。在使用非 SDXL 基础模型时会用到 LoRA，使用方法和平常类似，但需要注意将 cfg 值调小，一般设置为 1，步数设置根据所使用的 LoRA 步数为准。 在实际使用中，以 Stable Diffusion 为例，点击“生成”下面的第三个按钮，会弹出新的选项框，找到 Lora 选项，就会出现下载保存到电脑的 Lora 模型。点击要用的 Lora ，会自动添加到关键词的文本框里面，Lora 可以叠加使用，但新手不建议使用太多，每个 Lora 后面的数字用于调整权重，一般只会降低权重。选择 Lora 时要根据最初想要生成的照片类型来选择相应风格的 Lora 。 此外，LoRA 具有极大的商用价值，比如“墨心”的 LoRA 可以把图片变成水墨风格，盲盒 LoRA 可以生成 2.5D 的卡通小人角色，还有一些明星或知名动漫角色的 LoRA 可以直接生成相应形象。但在使用时需要有很强的版权和法律意识。
2025-01-23
理解LoRA训练以及参数
LoRA 训练的参数主要包括以下方面： 1. 学习步数：指 AI 对每张图片的学习次数。二次元图片的 repeat 一般在 10 15，写实人物图片的 repeat 一般在 30 50，真实世界的景观场景可能要达到 100。repeat 值越高，AI 越能读懂图片，但图片精细度越高，学习步数也要越高。 2. 循环次数：AI 将所有图片按照学习步数学习一轮就是一次循环，循环次数就是将这个过程重复的遍数。一般数值在 10 20 之间，次数并非越多越好，过多会导致过拟合。总的训练步数 = 图片张数×学习步数×循环次数。 3. 效率设置：主要控制电脑的训练速度，可保持默认值，也可根据电脑显存微调，但要避免显存过载。 4. DIM：不同场景有不同的推荐值。如二次元一般为 32，人物常见为 32 128，实物、风景则≥128。DIM 为 64 时，输出文件一般为 70MB +；DIM 为 128 时，输出文件一般为 140MB + 。 5. 样图设置：主要控制训练过程中的样图显示，可实时观测训练效果。“sample every n steps”为 50 代表每 50 步生成一张样图，prompts 提示词可预设效果或自定义。 6. 并行数量：代表 AI 同一时间学习的图片数量。数值越大，训练速度越快，内存占用越大，收敛得慢；数值越小，训练速度越慢，内存占用越小，收敛得快。以 512×512 的图片为例，显存小于等于 6g，batch size 设为 1；显存为 12g 以上，batch size 可设为 4 或 6。增加并行数量时，通常也会增加循环次数。 7. 质量设置： 学习率：指 AI 学习图片的效率，过高会过拟合，过低会不拟合。1e 4 即 1 除以 10 的 4 次方，等于 0.0001；1e 5 即 1 除以 10 的 5 次方，等于 0.00001。一般保持默认，如需调整可点击数值旁的加减号。 网格维度：network dim 决定出图精细度，数值越高有助于 AI 学会更多细节，但数值越大学习越慢，训练时间越长，易过拟合。
2025-01-06
理解LoRA训练以及参数
LoRA 训练的参数主要包括以下方面： 1. 学习步数：指 AI 对每张图片的学习次数。二次元图片的 repeat 一般在 10 15，写实人物图片的 repeat 一般在 30 50，真实世界的景观场景可能要达到 100。repeat 值越高，AI 越能读懂图片，但图片精细度越高，学习步数也要越高。 2. 循环次数：AI 将所有图片按照学习步数学习一轮就是一次循环，循环次数就是将这个过程重复的遍数。一般数值在 10 20 之间，次数并非越多越好，过多会导致过拟合。总的训练步数 = 图片张数×学习步数×循环次数。 3. 效率设置：主要控制电脑的训练速度，可保持默认值，也可根据电脑显存微调，但要避免显存过载。 4. DIM：不同场景有不同的推荐值。如二次元一般为 32，人物常见为 32 128，实物、风景则≥128。DIM 为 64 时，输出文件一般为 70MB +；DIM 为 128 时，输出文件一般为 140MB + 。 5. 样图设置：主要控制训练过程中的样图显示，“sample every n steps”为 50 代表每 50 步生成一张样图。Prompts 提示词可预设效果或自定义。 6. 并行数量：代表 AI 同一时间学习的图片数量。数值越大，训练速度越快，内存占用越大，但收敛得慢；数值越小，训练速度越慢，内存占用越小，但收敛得快。显存小于等于 6g 时，batch size 设为 1；显存为 12g 以上时，batch size 可设为 4 或 6。 7. 质量设置： 学习率：指 AI 学习图片的效率，过高会过拟合，过低会不拟合。1e 4 实际为 1 除以 10 的 4 次方，即 0.0001；1e 5 为 1 除以 10 的 5 次方，即 0.00001。一般保持默认，如需调整可点击数值旁的加减号。 网格维度：network dim 决定出图精细度，数值越高有助于 AI 学会更多细节，但数值越大学习越慢，训练时间越长，易过拟合。
2025-01-06
高效微调技术-LoRA 全量微调与少量参数微调
以下是关于高效微调技术 LoRA 全量微调与少量参数微调的相关信息： LoRA 微调： 微调脚本： 脚本见： 具体实现代码见： 单机多卡的微调可以通过修改脚本中的include localhost:0来实现。 加载微调模型： 基于 LoRA 微调的模型参数见：基于 Llama2 的中文微调模型，LoRA 参数需要和基础模型参数结合使用。 通过加载预训练模型参数和微调模型参数，示例代码中，base_model_name_or_path 为预训练模型参数保存路径，finetune_model_path 为微调模型参数保存路径。 全量参数微调： 微调脚本： 脚本见： 具体实现代码见： 加载微调模型： 对于全量参数微调的模型，调用方式同模型调用代码示例，只需要修改其中的模型名称或者保存路径即可。 此外，关于微调还有以下补充信息： 微调模型意味着改变模型的权重，现在微调变得越来越容易，因为开发了许多技术并建立了代码库。 像 LoRA 这样的参数高效微调技术只训练模型的小部分稀疏片段，模型大部分保持基础模型状态，效果好且成本低。 微调技术上更为复杂，需要更多技术专业知识，包括人工数据合同承包商的数据集和复杂的合成数据流程，会减慢迭代周期。 SFT（有监督的微调）相对简单明了，RLHF（基于人类反馈的强化学习）则是非常研究性的领域，难度大，不适合初学者。 目前除了传统的全量训练和 freeze 冻结某些层方式，还发展出了很多种高效的微调方法，如 LoRA、Prefix Tuning、PTuning、Prompt Tuning、AdaLoRA、3、MultiTask Prompt Tuning 等。本篇主要采用 LoRA 方式，主要思路是训练一个参数量较小的分支，然后再与底模合并，从而在模型中注入新的知识。
2025-01-06
flux lora训练指南
以下是关于 Flux 的 Lora 模型训练的指南： 准备工作： 需要下载以下模型： t5xxl_fp16.safetensors clip_l.safetensors ae.safetensors flux1dev.safetensors 注意事项： 1. 不使用的话，模型放置位置不限，但要清楚其“路径”，后续会引用到。 2. 训练建议使用 flux1dev.safetensors 版本的模型和 t5xxl_fp16.safetensors 版本的编码器。 下载脚本： 夸克网盘链接：https://pan.quark.cn/s/ddf85bb2ac59 百度网盘链接：https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq 提取码：pfsq 修改脚本路径和参数： 如果显卡是 16G，右键 16G 的 train_flux_16GLora 文件；如果显卡是 24G 或更高，右键 24G 的 train_flux_24GLora 文件。（DB 全参微调对硬件要求高，内存 32G 可能不行。即使是 train_flux_24GLora 方式，也建议内存高于 32G 以避免意外。） 右键用代码编辑器打开文件，理论上只需修改红色部分：底模路径、VAE 路径、数据集路径，还有下面的 clip 路径和 T5xxl 路径。如果 4 件套在一个文件夹，路径填写更简单；若不在，需准确复制各模型的路径，注意检查格式，避免多双引号、漏双引号或路径错误。 数据集准备： 1. 进入厚德云 模型训练 数据集：https://portal.houdeyun.cn/sd/dataset 2. 创建数据集：在数据集一栏中，点击右上角创建数据集，输入数据集名称。zip 文件可以包含图片+标签 txt，也可以只有图片（之后可在 c 站使用自动打标功能），也可一张一张单独上传照片，但建议提前将图片和标签打包成 zip 上传。Zip 文件里图片名称与标签文件应当匹配，例如：图片名"1.png"，对应的达标文件就叫"1.txt"。上传 zip 后等待一段时间，确认创建数据集，返回到上一个页面，等待上传成功后可点击详情检查，能预览到数据集的图片以及对应的标签。 Lora 训练： 点击 Flux，基础模型会默认是 FLUX 1.0D 版本。选择数据集，点击右侧箭头选择上传过的数据集。触发词可有可无，取决于数据集是否有触发词。模型效果预览提示词可随机抽取数据集中的一个标签填入。训练参数可调节重复次数与训练轮数，若不知如何设置，可默认 20 重复次数和 10 轮训练轮数。可按需求选择是否加速，点击开始训练，会显示所需消耗的算力，然后等待训练，会显示预览时间和进度条。训练完成会显示每一轮的预览图，鼠标悬浮到想要的轮次模型，中间会有生图，点击会自动跳转到使用此 lora 生图的界面，点击下方的下载按钮则会自动下载到本地。
2025-01-04
吴恩达大模型教程
以下是一些与吴恩达大模型相关的教程和资源： 面向开发者的 LLM 入门课程： 地址： 简介：一个中文版的大模型入门教程，围绕吴恩达老师的大模型系列课程展开，包括吴恩达《ChatGPT Prompt Engineering for Developers》课程中文版等。 提示工程指南： 地址： 简介：基于对大语言模型的兴趣编写的全新提示工程指南，介绍了相关论文研究等。 LangChain🦜️🔗中文网，跟着 LangChain 一起学 LLM/GPT 开发： 地址： 简介：由两位 LLM 创业者维护的 Langchain 中文文档。 LLM 九层妖塔： 地址： 简介：包含 ChatGLM 等实战与经验。 目录：吴恩达讲 Prompt https://github.com/zard1152/deepLearningAI/wiki Coze 复刻：吴恩达开源的 AI 翻译项目 复刻步骤：包括配置反思优化的提示词、结合反思优化建议再次翻译、选择输出方式等。 大语言模型分为基础 LLM 和指令微调 LLM 两类。基础 LLM 经过训练可根据文本预测下一个词，指令微调 LLM 经过训练能遵循指令，为让系统更有帮助并遵循指令，通常会使用人类反馈强化学习（RLHF）技术优化。提示的关键原则包括尽可能保证下达的指令“清晰、没有歧义”，给大模型思考的时间以及足够的时间去完成任务。
2025-01-21
有没有关于cursor的使用教程
以下是关于 Cursor 的使用教程： 1. 中文教程网站： 网站：，提供中文教程，帮助您更好地掌握 Cursor 的使用方法，适合想深入了解和学习的用户。 2. 张梦飞的 0 编程基础入门极简使用指南： 下载 Cursor： 注册账号，可用邮箱（如 google、github、163、qq 邮箱）直接登录，接受二维码登录。 安装中文包插件。 在设置中 Rule for AI 配置。 按 ctrl/cmd+i 输入需求，例如：帮我做一个贪吃蛇游戏，在网页中玩。 3. 其他相关工具和步骤： 对于做 2048 游戏，可使用任意 AI 工具获得代码，专业代码模型表现更优。 使用 Cursor 不用下载上一步中的 Pycharm，网址：，通过对话获得代码，指令更详细效果更好。 Deepseek（新手推荐）：网址：，方便国内访问，网页登录便捷，目前完全免费。 通义灵码：在 Pytharm 中，“文件”“设置”“插件”红色框位置搜索“通义灵码”安装（目前免费）。 JetBrains 自身的助手插件：在 Pytharm 中，“文件”“设置”“插件”红色框位置搜索“Jetbrains AI assistant”安装（收费，目前有 7 天免费试用）。 还有 Marscode 及 Tencent cloud AI code Assistant 等。 无影的晓颖 AI 助手在云栖大会上有过使用，内置在云电脑里，使用较流畅。
2025-01-21
dify的使用教程
以下是 Dify 的使用教程： 1. 构建知识库： 准备数据：收集文本数据，包括文档、表格等格式，并进行清洗、分段等预处理以确保数据质量。 创建数据集：在 Dify 中创建新数据集，上传准备好的文档，并编写良好的描述。 配置索引方式：Dify 提供三种索引方式，如高质量模式、经济模式和 Q&A 分段模式，根据实际需求选择合适的方式。 集成至应用：将数据集集成到 Dify 的对话型应用中，在应用设置中配置数据集的使用方式。 持续优化：收集用户反馈，对知识库内容和索引方式进行优化和迭代，定期更新知识库。 2. 部署网站： 云服务版本：直接在官网 dify.ai 上注册账号使用。 部署社区版：开源，可商用，但不能作为多租户服务使用，对个人使用无限制。部署前提条件为 2 核 4G 云服务器一台。 3. 接入企业微信： 创建聊天助手应用：在 Dify 平台创建基础编排聊天助手应用，获取 API 密钥和 API 服务器地址。 下载 Dify on WeChat 项目：下载并安装依赖。 填写配置文件：在项目根目录创建 config.json 文件，填写 API 密钥和服务器地址。 把基础编排聊天助手接入微信：快速启动测试，扫码登录，进行对话测试，可选择源码部署或 Docker 部署。 把工作流编排聊天助手接入微信：创建知识库，导入知识库文件，创建工作流编排聊天助手应用，设置知识检索节点和 LLM 节点，发布更新并访问 API。 把 Agent 应用接入微信：创建 Agent 应用，设置对话模型和添加工具，生成 API 密钥，填写配置文件，启动程序并进行测试。更多内容请访问原文：https://docs.dify.ai/v/zhhans/learnmore/usecases/difyonwechat
2025-01-18
coze的使用教程
以下是关于 Coze 的使用教程： Coze 概述： 字节的官方解释：Coze 是新一代一站式 AI Bot 开发平台。无论是否有编程基础，都能在该平台上快速搭建基于 AI 模型的各类问答 Bot，从解决简单问答到处理复杂逻辑对话，并可将 Bot 发布到各类社交平台和通讯软件上与用户互动。 个人观点：Coze 是字节针对 AI Agent 领域的初代产品，在 Coze 中称 AI Agent 为 Bot。 部署站点： 国内版： 网址：https://www.coze.cn 官方文档教程：https://www.coze.cn/docs/guides/welcome 大模型：使用字节自研的云雀大模型，国内网络可正常访问。 海外版： 网址：https://www.coze.com 官方文档教程：https://www.coze.com/docs/guides/welcome 大模型：GPT4、GPT3.5 等大模型（可参考文档白嫖 ChatGPT4），访问需突破网络限制的工具，参考文档：https://www.coze.com/docs/zh_cn/welcome.html AI Agent 的开发流程： Bot 的开发和调试页面布局主要分为以下几个区块： 提示词和人设的区块 Bot 的技能组件 插件 工作流 Bot 的记忆组件 知识库 变量 数据库 长记忆 文件盒子 一些先进的配置 触发器：例如定时发送早报 开场白：用户和 Bot 初次对话时，Bot 的招呼话语 自动建议：每当和 Bot 一轮对话完成后，Bot 给出的问题建议 声音：和 Bot 对话时，Bot 读对话内容的音色 搭建教学： 基础框架：本 bot 基于三部分构成，包括提示词（使用结构化提示词框架，通过提示要求大模型根据不同行为调用不同工作流）、数据库（能够记录不同用户历史记账记录的关键，工作流里会用到）、工作流（增加记账调用 add_accounting_record 工作流；查询账户余额调用 query_accounting_balance 工作流；删除所有记账记录调用 init_accounting_records）。 数据库：数据库是 Coze 用来长久存放用户自己生成的数据的功能，可通过 mysql 语句写入数据到数据库中，也可从数据库中读取已存储数据用于加工或显示。本次记账功能定义了三个字段：item（记账的事项，字段类型 string）、occurrence_time（记账发生时间，字段类型 string）、account_change（变得的金额，即收入或花费的金额数，字段类型 integer，单位是分，例如 1.23 元，记录进入数据库是 123，注意一定要用 integer 类型，不能使用 number，不然当金额有小数时计算会不准）。
2025-01-18
怎么做 agent，有什么 coze做 agent 的视频教程
以下是一些关于如何做 Agent 以及相关的 Coze 视频教程： 基础教程： 大圣：胎教级教程：万字长文带你使用 Coze 打造企业级知识库 （https://waytoagi.feishu.cn/wiki/CT3UwDM8OiVmOOkohPbcV3JCndb） 大聪明：保姆级教程：Coze 打工你躺平 （https://waytoagi.feishu.cn/wiki/PQoUwXwpvi2ex7kJOrIcnQTCnYb） 安仔：Coze 全方位入门剖析 免费打造自己的 AI Agent （https://waytoagi.feishu.cn/wiki/SaCFwcw9xi2qcrkmSxscxTxLnxb） 基础教程：Coze“图像流”抢先体验 （https://waytoagi.feishu.cn/wiki/AHs2whOS2izNJakGA1NcD5BEnuf） YoYo：Coze 图像流小技巧：探索视觉艺术的隐藏宝藏 （https://waytoagi.feishu.cn/wiki/CTajwJnyZizxlJk8a4AcJYywnfe） 【智能体】让 Coze 智能体机器人连上微信和微信群详细配置文档 （https://waytoagi.feishu.cn/wiki/ExHMwCDZ7i6NA7knCWucFvFvnvJ） 历史活动教程： 5 月 7 号（）：大聪明分享｜主题：Agent 的前世今生，每个分享人分享最初是怎么接触 Coze 的，以及现在用 Coze 做什么 5 月 8 号（）：大圣分享｜主题：我眼中的 AI Agent 以及通过搭建知识库实例入门 Coze 5 月 9 号（）：艾木分享｜主题：Agent 系统的核心构成：Workflow 和 Multiagent Flow（以“Dr.Know”和“卧底”为例，线上答疑 5 月 10 号（）：罗文分享｜主题：一个方法解锁 COEZ 所有插件的用法+如何自动化解锁每天抓取 X 内容+改写+发布到飞书 5 月 11 号（）：Itao 分享｜主题：和 AI 成为搭子，线上答疑
2025-01-18
有哪些关于AI编程的cursor的内容，比较好的教程和使用经验之类的
以下是一些关于 AI 编程 Cursor 的内容、教程和使用经验： 1. 熊猫 Jay 的教程： 原文地址：https://mp.weixin.qq.com/s/KZt53OxCtlwuTKhplzGCg 涵盖了 Cursor 和其他编程工具的区别、Cursor 入门（安装和使用）、Cursor 初阶案例（开发谷歌插件）、Cursor 进阶案例（开发卡密系统）以及很多加餐项。 2. Cursor 官方介绍： 强调 Cursor 是使用 AI 进行编码的最佳方式，旨在让您极其高效。 包括读懂数据库、使用 tab 来编辑等功能。 3. 三个人和一场黑客松的经历： 作者认为 Cursor 改变了普通人与编程的关系，让不具备代码能力的人可以通过自然语言描述快速开发一些项目。 提到了一些用 AI 做的项目，如各类视频站的整合下载工具、根据 BGM 节奏合成高频卡点视频的 Python 脚本、提取图片颜色生成色板的 Chrome 插件等。 如果您想进一步了解具体内容，可以访问上述提到的链接。
2025-01-17
大模型训练方式
大模型的训练方式如下： 1. 通俗来讲，大模型是输入大量语料，让计算机获得类似人类的“思考”能力，能进行文本生成、推理问答、对话、文档摘要等工作。可以用“上学参加工作”来类比其训练和使用过程： 找学校：训练大模型需要大量计算，GPU更合适，只有购买得起大量GPU的才有资本训练。 确定教材：大模型需要大量数据，几千亿序列（Token）的输入基本是标配。 找老师：即选择合适算法讲述“书本”内容，让大模型更好理解Token之间的关系。 就业指导：为让大模型更好胜任某一行业，需要进行微调（fine tuning）指导。 搬砖：就业指导完成后，进行如翻译、问答等工作，在大模型里称之为推导（infer）。Token被视为模型处理和生成的文本单位，能代表单个字符、单词等，在将输入进行分词时，会形成词汇表。 2. 100基础训练大模型的步骤： 步骤一·创建数据集：进入厚德云模型训练数据集（https://portal.houdeyun.cn/sd/dataset），在数据集一栏中点击右上角创建数据集，输入数据集名称。zip文件可以是包含图片+标签txt，也可以只有图片没有打标文件，也可以一张一张单独上传照片，但建议提前把图片和标签打包成zip上传。Zip文件里图片名称与标签文件应当匹配，例如：图片名"1.png"，对应的达标文件就叫"1.txt"。上传zip以后等待一段时间，确认创建数据集，返回到上一个页面，等待一段时间后上传成功，可以点击详情检查，可预览到数据集的图片以及对应的标签。 步骤二·Lora训练：点击Flux，基础模型会默认是FLUX 1.0D版本，选择数据集，点击右侧箭头，会跳出所有上传过的数据集。触发词可有可无，取决于数据集是否有触发词。模型效果预览提示词则随机抽取一个数据集中的标签填入即可。训练参数这里可以调节重复次数与训练轮数，厚德云会自动计算训练步数，如果不知道如何设置，可以默认20重复次数和10轮训练轮数，可以按需求选择是否加速，点击开始训练，会显示所需要消耗的算力，然后等待训练，会显示预览时间和进度条，训练完成的会显示出每一轮的预览图，鼠标悬浮到想要的轮次模型，中间会有个生图，点击会自动跳转到使用此lora生图的界面。点击下方的下载按钮则会自动下载到本地。 步骤三·Lora生图：点击预览模型中间的生图会自动跳转到相应页面。模型上的数字代表模型强度，可在0.61.0之间调节，也可以自己添加lora文件，点击后会显示训练过的所有lora的所有轮次。VAE不需要替换，正向提示词输入写的提示词，可以选择基于这个提示词一次性生成几张图，选择生成图片的尺寸，横板、竖版、正方形。采样器和调度器新手小白可以默认，迭代步数可以在2030之间调整，CFG可以在3.57.5之间调整，随机种子1代表随机生成图。所有设置都好了以后，点击开始生态，生成的图会显示在右侧。如果有哪次生成结果觉得很不错，想要微调或者高分辨率修复，可以点开那张图，往下滑，划到随机种子，复制下来，粘贴到随机种子这里，这样下次生成的图就会和这次的结果近似。如果确认了一张很合适的种子和参数，想要搞清放大，则点开高清修复，可以选择想放大的倍数，新手小白可以就默认这个算法，迭代步数建议在2030之间，重回幅度根据需求调整，正常在0.30.7之间调整。 3. 今日作业：按照比赛要求，收集六个主题中一个主题的素材并且训练出lora模型后提交lora模型与案例图像。提交链接:https://waytoagi.feishu.cn/share/base/form/shrcnpJAtTjID7cIcNsWB79XMEd
2025-01-23
大模型下文档投喂后，大模型是如何解读文档提取出答案？
大模型在文档投喂后解读文档并提取答案的过程通常包括以下步骤： 1. 问题解析阶段：接收并预处理问题，通过嵌入模型（如 Word2Vec、GloVe、BERT）将问题文本转化为向量，以确保问题向量能有效用于后续检索。 2. 知识库检索阶段：知识库中的文档同样向量化后，比较问题向量与文档向量，选择最相关的信息片段，并抽取相关信息传递给下一步骤。 3. 信息整合阶段：接收检索到的信息，与上下文构建形成融合、全面的信息文本。整合信息准备进入生成阶段。 4. 大模型生成回答：整合后的信息被转化为向量并输入到 LLM（大语言模型），模型逐词构建回答，最终输出给用户。 在这个过程中还包括以下信息处理步骤： 1. 信息筛选与确认：系统会对检索器提供的信息进行评估，筛选出最相关和最可信的内容，同时对信息的来源、时效性和相关性进行验证。 2. 消除冗余：识别和去除多个文档或数据源中可能存在的重复信息，以防在生成回答时出现重复或相互矛盾的信息。 3. 关系映射：分析不同信息片段之间的逻辑和事实关系，如因果、对比、顺序等，构建一个结构化的知识框架，使信息在语义上更加连贯。 4. 上下文构建：将筛选和结构化的信息组织成一个连贯的上下文环境，包括对信息进行排序、归类和整合，形成一个统一的叙述或解答框架。 5. 语义融合：在必要时，合并意义相近但表达不同的信息片段，以减少语义上的重复并增强信息的表达力。 6. 预备生成阶段：整合好的上下文信息被编码成适合生成器处理的格式，如将文本转化为适合输入到生成模型的向量形式。 最终，全新的上下文被一起传递给大语言模型。由于这个上下文包括了检索到的信息，大语言模型相当于同时拿到了问题和参考答案，通过 LLM 的全文理解，最后生成一个准确和连贯的答案。 相关概念： LLM：Large language model 的缩写，即大语言模型。 Prompt：中文译作提示词，是输入给大模型的文本内容，可以理解为和大模型说的话、下达的指令。 Token：大模型语言体系中的最小单元，不同厂商的大模型对中文文本的切分方法不同，通常 1Token≈12 个汉字，大模型的收费计算方法及对输入输出长度的限制通常以 token 为单位计量。 上下文：英文通常翻译为 context，指对话聊天内容前、后的内容信息，上下文长度和上下文窗口都会影响大模型回答的质量。
2025-01-23
SD模型
Stable Diffusion（SD）模型是由 Stability AI 和 LAION 等公司共同开发的生成式模型，参数量约 1B，可用于文生图、图生图、图像 inpainting、ControlNet 控制生成、图像超分等任务。 文生图任务是将文本输入到 SD 模型，经过一定迭代次数生成符合描述的图片。例如输入“天堂，巨大的，海滩”，模型生成美丽沙滩图片。 图生图任务在输入文本基础上再输入一张图片，模型根据文本提示重绘输入图片使其更符合描述，如在沙滩图片上添加“海盗船”。 输入的文本信息需通过“桥梁”CLIP Text Encoder 模型转换为机器数学信息。该模型作为 SD 模型中的前置模块，将输入文本编码生成 Text Embeddings 特征矩阵，用于控制图像生成。 目前 SD 模型使用的是中的 Text Encoder 模型，其只包含 Transformer 结构，由 12 个 CLIPEncoderLayer 模块组成，模型参数大小为 123M，输出 Text Embeddings 的维度为 77x768。 以下是相关资源获取方式： SD 模型权重：关注 Rocky 的公众号 WeThinkIn，后台回复“SD 模型”，可获得包含多种模型权重的资源链接。 SD 保姆级训练资源：关注 Rocky 的公众号 WeThinkIn，后台回复“SDTrain”，可获得包含数据处理、模型微调训练及基于 SD 的 LoRA 模型训练代码等全套资源。 Stable Diffusion 中 VAE、UNet 和 CLIP 三大模型的可视化网络结构图：关注 Rocky 的公众号 WeThinkIn，后台回复“SD 网络结构”，即可获得网络结构图资源链接。
2025-01-22
到今天，大语言模型还会产生“幻觉”吗
截至今天，大语言模型仍会产生“幻觉”。 大语言模型偶尔会根据输入输出一些荒谬或不符合事实的内容，目前各家大语言模型在该问题上的表现都不尽如人意。产生“幻觉”的原因包括： 1. 样本存在错误（Imitative Falsehoods）：如果大语言模型学习的“教材”中有错误，它也容易给出错误回答。缓解该问题的一个办法是上采样（Up Sampling）。 2. 信息过时（Outdated Factual Knowledge）：以前正确的信息现在可能过时了。 此外，大语言模型通过训练数据猜测下一个输出结果，可能因错误数据导致给出错误答案，优质数据集对其很重要。如果在其训练过程中，模型被暴露于大量知识之中，它并没有完美地记忆所见到的信息，并不十分清楚自己的知识边界，可能会尝试回答有关深奥话题的问题，并虚构听起来有道理但实际不正确的内容。 在构建应用程序时，可以使用一些技术来避免这种情况，例如要求模型先从文本中找到相关引文，然后使用引文回答问题，并将答案追溯回源文件，这通常有助于减少“幻觉”的发生。
2025-01-22
本地部署大模型
以下是关于本地部署大模型的详细步骤： 1. 部署大语言模型： 下载并安装 Ollama： 根据电脑系统，从 https://ollama.com/download 下载 Ollama。 下载完成后，双击打开，点击“Install”。 安装完成后，将 http://127.0.0.1:11434/ 复制进浏览器，若出现相关字样则表示安装完成。 下载 qwen2:0.5b 模型（若设备充足可下载更大模型）： Windows 电脑：点击 win+R，输入 cmd 点击回车。 Mac 电脑：按下 Command（⌘）+Space 键打开 Spotlight 搜索，输入“Terminal”或“终端”，选择“终端”应用程序。 复制相关命令行，粘贴进入并回车，等待自动下载完成。 2. ComfyUI ollama 本地大模型部署： 先下载 ollama 安装，安装完成后可在电脑桌面右下角或隐藏图标中找到。 下载对应的模型，选择模型并复制对应的命令。 打开命令行界面，输入对应的模型获取命令，等待下载完成。 模型下载后会保存到 D:\\ollama\\blobs 。 进行 docker 安装，安装会下载一些文件，安装后更改目录，不要放在 C 盘。 进行 Open webui 安装，输入相关命令，安装成功后回到 docker，点击会自动打开网页，第一次使用需注册账号，选择下载好的模型即可开始使用。 3. 错误解决： 端口占用问题，在 Windows 上可能出现，运行相关两条命令可解决。 4. 相关链接： comfyuiollama：https://github.com/stavsap/comfyuiollama?tab=readmeovfile Ollama：https://ollama.com/ docker：https://www.docker.com/ Open webui：https://openwebui.com/ 此外，还有一篇思路来源于视频号博主黄益贺的相关内容，作者按照其视频进行了实操并附加了一些关于 RAG 的额外知识。文中提到读完本文可以学习到如何使用 Ollama 一键部署本地大模型、通过搭建本地聊天工具了解 ChatGPT 信息流转、RAG 的概念及核心技术、通过 AnythingLLM 软件搭建完全本地化的数据库等内容。虽然大多数人不需要自己部署大模型，但期望通过本文的指导能够折腾一遍，从而做到知其然且知其所以然。
2025-01-22
大模型评分
大模型评分通常会根据不同的赛事或评估体系有所差异。 在金融行业的大模型挑战赛中，评测任务形式为给定一组参考文档和问题，要求模型按指定格式生成答案。赛事主办方会根据选手提供的回答与参考答案对比，并根据关键字段命中情况进行评分。评分公式涉及关键词命中总次数、关键词总数、小题数和得分等参数。例如在示例问题中，根据每个小题的回答正确情况计算得分，完全正确得满分 1 分，部分正确则根据命中比例计算得分。 在其他的大模型评估方面： FlagEval（天秤）大模型评测体系及开放平台，旨在建立科学、公正、开放的评测基准、方法、工具集，创新构建了“能力任务指标”三维评测框架，细粒度刻画基础模型的认知能力边界，可视化呈现评测结果。地址：https://github.com/FlagOpen/FlagEval 。 CEval 构造了一个覆盖多个学科的中文知识和推理型测试集，并给出了当前主流中文 LLM 的评测结果。地址：https://github.com/SJTULIT/ceval 。 SuperCLUElyb 是中文通用大模型匿名对战评价基准，以众包方式提供匿名、随机的对战，并发布了初步结果和基于 Elo 评级系统的排行榜。地址：https://github.com/CLUEbenchmark/SuperCLUElyb 。 斯坦福发布的大模型排行榜 AlpacaEval 支持两种模式的模型评估方式：alpaca_eval 和 alpaca_eval evaluate_from_model 。评测过程分为选择评估集并计算输出、计算 golden 输出、通过指定的自动标注器计算胜率等步骤。相对于人工标注，全自动化的 AlpacaEval 具有较低的经济成本和时间成本。
2025-01-22