Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

flux lora调参数,我训练出来的人物模型和数据集的人物图片不像,出现这种情况的原因都有哪些,应该调整哪些参数,我需要我的flux模型训练出来的模型是一致性还原性,和泛化性比较不错的,按照这个方向给我指导

Answer

以下是关于 flux lora 调参数以获得一致性、还原性和泛化性较好的人物模型的指导:

打标环节:

  • 选择基础大模型,如“麦橘写实”,并为 lora 命名。
  • 将照片导入,选择合适分辨率,可勾选“脸部加强训练”,然后进行预处理。手动裁剪图片比自动裁剪更可靠。
  • 预处理后会出现脸部和整体文件夹,且每张照片自动打好 tag 标签。
  • 可为整体添加统一标签,也可单独修改每张图片的标签。标签有助于 AI 理解图片,描述越详细,人物变化可能越多,泛化性可能越好。仔细检查每张图片的标签,其质量会影响人物 lora 的泛化性。

参数调整环节:

  • 大部分参数是固定的,主要的几个按照人物参数配置一遍。后期根据生成结果再调整。

炼丹环节:

  • 例如 18 张脸部图片,20 张整体图片,各训练 50 步,循环训练 10 次,并行步数为 1。训练总步数和时长会有所不同,loss 值可作为参考,但最终效果仍需通过测试判断。

此外,在 Lora 串联方面,多个 Lora 串联时左右顺序不影响结果,可复制并点对点连接。CLIP 层 -1 和 -2 的效果不同,加 Lora 时某些 Lora 可能更适合 -2。Lora 可用于生成底模无法画出的内容。在运行中点击取消可打断正在渲染跑的图。图像放大可通过 up scale image using model 节点,选择放大模型,用 resize 节点调整尺寸,再用编码器和采样器处理。放大模型直接放大的图像效果不佳,需再次采样增加细节。添加飞桨缺失节点可通过拖入工作流查看标红节点,从管理器安装或从 GitHub 获取节点包放入文件管理系统。采样器和调度器参数设置建议参考模型作者推荐,并结合自己调试。Web UI 中 Lora 库有刷新按钮,将 Lora 丢到文件夹后多点几次刷新即可。

Content generated by AI large model, please carefully verify (powered by aily)

References

【Lora炼丹术】国庆节去哪玩?炼个丹儿玩!人像lora炼制(2)

选一个基础大模型,我使用的是“麦橘写实”,然后填一个lora的名字。准备好之后,将照片导入到丹炉,选择适合的分辨率,可以勾选“脸部加强训练”,然后点击“预处理”。其实这里有一个自动的裁剪模式,但是我试过觉得自动的不太靠谱,所以还是手动裁吧。预处理之后,就会出现一个脸部的文件夹,和一个整体的文件夹,并且每一张照片都已经自动打好了tag标签。我们可以给整体添加统一的标签,也可以单独给每一张修改标签。这个标签的作用主要是帮助AI去理解我们的图片,告诉它画面里面有什么。这里要注意的是,如果你想让这个特征成为人物的固定的效果,你就不要填写这个关键词。比如我不描写他的发型,只描写他的头发颜色,那么后期出图的时候,他的发型就不能被改变,但是头发颜色却可以被改变。这个过程挺漫长的,每一张图片都要仔细检查,打标的好坏会影响到后面人物lora是否有比较好的泛化性。所以如果你想让你的人物能多一些变化,就尽量描述的详细一些吧。[heading1]#03[heading1]参数调整[content]前面两个环节比较重要,这个参数调节其实就可以佛系一点了。大部分参数是固定的,主要的几个按照我之前讲解过的人物参数配置一遍就可以了,后期再根据生成的结果来调整。设置好之后就可以开始训练了。[heading1]#04[heading1]炼丹[content]18张脸部图片,20张整体图片,各训练50步,循环训练10次,并行步数为1,所以训练总步数为19000,训练时长为45分钟,loss值为0.0769。从数值上来看是个不错的丹,但具体好坏还是要我们自己通过测试来判断,毕竟像不像只有我们自己知道。[heading1]#05

教程:24_大寒

模型:majicmixRealistic_v7生成的尺寸和你的草稿图保持一致(cn垫图512x768,高清修复2倍,重绘幅度0.35)关键词和ControlNet参数每张不一样都进行了调整。以第一张为例正关键词:(masterpiece,highres,high quality,high resolution),(ice:1.1),snow,cold,bare branches hung with red berries covered in snow,the vista is the snowy mountains,cool,no humans,outdoors,simple_background,photography,authentic photos,blurry,<lora:ice cake_20231126200433:0.2>,<lora:Ice and Snow World_20231223195220:0.5>,ice steps,负面关键词(NSFW:1.1),(worst quality:2),(low quality:2),(normal quality:2),watermark,easynegative,ng_deepnegative_v1_75t,fuzzy,gaussian blur,中文关键词:(杰作、高分辨率、高品质、高分辨率)、冰:1.1,雪,寒冷,光秃秃的树枝上挂满了雪覆盖的红色浆果,远景是雪山,凉爽,没有人类,户外,简单的背景,摄影,真实照片,模糊,ControlNet设置:预处理器:invert(from white bg&black line)模型:control_v11f1p_sd15_depth[cfd03158]权重:0.85黑白字体设计(字体设计来源于:ཉི叶承欢Lorahttps://www.liblib.art/modelinfo/258a9520d8764157b3cbe0e1e3cbf30chttps://www.liblib.art/modelinfo/8d683e30f82e4fb386648661b0a05b97

8月13日ComfyUI共学

[heading2]总结关于Lora串联和图像放大模型的讨论Lora串联:多个Lora串联时左右顺序不影响结果,可复制并点对点连接。CLIP层调整:CLIP层-1和-2的效果不同,加Lora时某些Lora可能更适合-2。Lora作用:Lora可用于生成底模无法画出的内容,是一种经济实用的模型微调方式。打断渲染跑图:在运行中点击取消可打断正在渲染跑的图。图像放大模型:通过up scale image using model节点放大图像,可选择放大模型,用resize节点调整尺寸,再用编码器和采样器处理。采样原因:放大模型直接放大的图像效果不佳,需再次采样增加细节。关于飞桨使用中节点添加及相关问题的讨论添加飞桨缺失节点的方法:可以将工作流拖入查看标红节点,通过管理器安装缺失节点,也可从GitHub获取节点包放入文件管理系统。图像放大方式的效果差异:通过专门训练的放大模型放大图像效果更好,直接像素放大效果不佳。采样器和调度器参数设置:建议参考模型作者推荐的参数,并结合自己的调试来寻找最佳参数,推荐了o2a、DMP佳佳2M采样器和normal、cars调度器。Web UI模型管理的备注问题:目前未找到较好的给模型加备注的节点,靠改模型文件夹名字备注。人物一致性控制:控制人物在多场景、多个姿势下的一致性有很多方法,课程后期会介绍。多张图输出的显示问题:一次产出多张图在预览窗口目前不能并排显示。Lora的刷新:将Lora丢到文件夹后,多点几次刷新即可,Web UI中Lora库有刷新按钮。进阶学习途径:提到一些全球交流频道,如Confii生态大会相关频道。

Others are asking
flux lora训练
以下是关于 Flux 的 Lora 模型训练的详细步骤: 模型准备: 1. 下载所需模型,包括 t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors、flux1dev.safetensors。 注意:不使用时存放位置随意,只要知晓路径即可。训练时建议使用 flux1dev.safetensors 版本的模型和 t5xxl_fp16.safetensors 版本的编码器。 下载脚本: 1. 网盘链接: 夸克网盘链接:https://pan.quark.cn/s/ddf85bb2ac59 百度网盘链接:https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq 提取码:pfsq 安装虚拟环境: 1. 下载完脚本并解压。 2. 在文件中找到 installcnqinglong.ps1 文件,右键选择“使用 PowerShell 运行”。 3. 新手在此点击“Y”,然后等待 1 2 小时的下载过程,完成后提示是否下载 hunyuan 模型,选择 n 不用下载。 数据集准备: 1. 进入厚德云 模型训练 数据集:https://portal.houdeyun.cn/sd/dataset 2. 创建数据集: 在数据集一栏中,点击右上角创建数据集。 输入数据集名称。 可以上传包含图片 + 标签 txt 的 zip 文件,也可以上传只有图片的文件(之后可在 c 站使用自动打标功能),或者一张一张单独上传照片。 Zip 文件里图片名称与标签文件应当匹配,例如:图片名“1.png”,对应的达标文件就叫“1.txt”。 上传 zip 以后等待一段时间,确认创建数据集,返回到上一个页面,等待一段时间后上传成功,可点击详情检查,预览数据集的图片以及对应的标签。 Lora 训练: 1. 点击 Flux,基础模型会默认是 FLUX 1.0D 版本。 2. 选择数据集,点击右侧箭头,选择上传过的数据集。 3. 触发词可有可无,取决于数据集是否有触发词。 4. 模型效果预览提示词则随机抽取一个数据集中的标签填入。 5. 训练参数可调节重复次数与训练轮数,厚德云会自动计算训练步数。若不知如何设置,可默认 20 重复次数和 10 轮训练轮数。 6. 按需求选择是否加速,点击开始训练,会显示所需要消耗的算力。 7. 等待训练,会显示预览时间和进度条。训练完成会显示每一轮的预览图。 8. 鼠标悬浮到想要的轮次模型,中间会有个生图,点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。 数据集存放位置:.Flux_train_20.4\\train\\qinglong\\train 运行训练:约 1 2 小时即可训练完成。 验证和 lora 跑图:有 ComfyUI 基础的话,直接在原版工作流的模型后面,多加一个 LoraloaderModelOnly 的节点就可以,自行选择 Lora 和调节参数。
2025-03-15
flux ae.sft放在哪个文件夹
在 ComfyUI 中,flux ae.sft 应放在 ComfyUI/models/vae/ 文件夹下。 Flux 模型在 ComfyUI 中的使用,需要将相关模型放在对应的目录下。具体来说,t5xxl_fp16.safetensors 放在 ComfyUI/models/clip/ 目录下,clip_l.safetensors 放在 ComfyUI/models/clip/ 目录下,ae.safetensors 放在 ComfyUI/models/vae/ 目录下,flux1dev.safetensors 放在 ComfyUI/models/unet/ 目录下。flux1dev.safetensors 是底模,ae.safetensors 是 VAE,clip_l.safetensors 和 t5xxl_fp16.safetensors 是关于文字语言编码。
2025-03-07
ERROR: Could not detect model type of: D:\AIruanjian\AIRUANJIAN\ComfyUI-aki(1)\ComfyUI-aki-v1.6\ComfyUI\models\checkpoints\flux1-dev-fp8.safetensors
很抱歉,根据您提供的错误信息“ERROR: Could not detect model type of: D:\AIruanjian\AIRUANJIAN\ComfyUIaki\ComfyUIakiv1.6\ComfyUI\models\checkpoints\flux1devfp8.safetensors”,暂时无法明确具体的问题原因。可能是模型文件格式不被识别,或者文件路径存在错误等。建议您检查文件的完整性和正确性,确保其符合相关软件的要求。
2025-03-07
midjourney_whisper_flux_lora_v01
以下是关于您提到的“midjourney_whisper_flux_lora_v01”的相关信息: 1. XLabsAI 发布了 6 个不同的 Lora,包括 Midjourney 风格、写实风格、动漫风格、迪斯尼风格、风景风格等,并提供了相应示例。 2. 文生图模型排序(从高到低):Imagen 3 真实感满分,指令遵从强;Recraft 真实感强,风格泛化很好,指令遵从较好(会受风格影响);Midjourney 风格化强,艺术感在线,但会失真,指令遵从较差;快手可图 影视场景能用,风格化较差;Flux.1.1 真实感强,需要搭配 Lora 使用;文生图大模型 V2.1L(美感版) 影视感强,但会有点油腻,细节不够,容易糊脸;Luma 影视感强,但风格单一,糊;美图奇想 5.0 AI 油腻感重;腾讯混元 AI 油腻感重,影视感弱,空间结构不准;SD 3.5 Large 崩。 3. 指定 AI 生图里的文字,有 9 种解决方案,其中 2 种快过时了。包括 Midjourney(v6 版本开始支持文字效果,主要支持英文,中文支持有限)、Ideogram(以图片嵌入文字能力闻名,2.0 模型能力得到进一步加强,支持复杂文本和多种艺术风格,文字与图像能够自然融合,支持英文,中文提示词可自动翻译为英文)、Recraft(V3 开始支持文本渲染能力,是目前唯一能在图像中生成长文本的模型,支持精确的文本位置控制,支持图像编辑功能,支持矢量图生成,支持英文,中文渲染能力较弱)、Flux(FLUX.1 是一款高质量的开源图像生成模型,支持复杂指令,支持文本渲染,支持图像编辑,生成图像的质量很高,主要支持英文)。
2025-03-07
flux 训练lora 教程
以下是关于 Flux 训练 Lora 的教程: 1. 准备模型:需要下载以下几个模型:t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors、flux1dev.safetensors。注意:不使用的话它们放到哪里都可以,甚至放一起一个文件夹,只要知道“路径”,后面要引用到“路径”。因为是训练,不是跑图,训练的话,模型就用 flux1dev.safetensors 这个版本,编码器也用 t5xxl_fp16.safetensors 这个版本最好。 2. 下载脚本: 夸克网盘链接:https://pan.quark.cn/s/ddf85bb2ac59 百度网盘链接:https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq 提取码:pfsq 3. 安装虚拟环境:下载完解压,在文件中找到 installcnqinglong.ps1 这个文件,右键选择“使用 PowerShell 运行”,新手的话这里就点击“Y”,然后等待 1 2 小时的漫长下载过程,下好了之后最后会提示是否下载 hunyuan 模型,选择 n 不用下载。 4. 0 基础训练大模型: 进入厚德云 模型训练 数据集:https://portal.houdeyun.cn/sd/dataset 步骤一·创建数据集:在数据集一栏中,点击右上角创建数据集,输入数据集名称。zip 文件可以是包含图片 + 标签 txt,也可以只有图片没有打标文件(之后可以在 c 站使用它的自动打标功能),也可以一张一张单独上传照片,但建议提前把图片和标签打包成 zip 上传。Zip 文件里图片名称与标签文件应当匹配,例如:图片名"1.png",对应的达标文件就叫"1.txt"。上传 zip 以后等待一段时间,确认创建数据集,返回到上一个页面,等待一段时间后就会上传成功,可以点击详情检查,可以预览到数据集的图片以及对应的标签。 步骤二·Lora 训练:点击 Flux,基础模型会默认是 FLUX 1.0D 版本,选择数据集,点击右侧箭头,会跳出所有上传过的数据集,触发词可有可无,取决于数据集是否有触发词,模型效果预览提示词则随机抽取一个数据集中的标签填入即可。训练参数这里可以调节重复次数与训练轮数,厚德云会自动计算训练步数,如果不知道如何设置,可以默认 20 重复次数和 10 轮训练轮数,可以按需求选择是否加速,点击开始训练,会显示所需要消耗的算力,然后就可以等待训练了,会显示预览时间和进度条,训练完成的会显示出每一轮的预览图,鼠标悬浮到想要的轮次模型,中间会有个生图,点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。 5. ControlNet 作者张吕敏再出新项目 LuminaBrush:基于数据集在 Flux 上训练 LoRA,并用 LoRA 生成的图像来扩展这个图像数据集。使用均匀光照图像作为中间表示具有一些优势,比如避免来自 3D 反照率的过于锐利的网格边界或过于平坦的表面。而这些图像在细节层面也足够细腻,可以处理皮肤纹理、头发、毛发等细节。接下来,通过合成随机法线,将这些均匀光照图像进行随机再光照,以训练一个可以从任何输入图像中提取均匀光照外观的模型。第一阶段的这个模型目前也提供了在线 demo:https://huggingface.co/spaces/lllyasviel/lumina_brush_uniform_lit 。第二阶段,会从数百万张高质量的自然场景图像中提取均匀光照外观图像,以构建成对数据集,用于训练最终的交互式光照绘制模型。
2025-03-04
comfyui flux 模特换衣服 的新手 教程
以下是关于 ComfyUI Flux 模特换衣服的新手教程: 工作流整体思路: 1. 生成适合服装的模特: 可以抽卡,抽到满意的模特。加入 Redux 模型,强度不用太高,让提示词生效,Reduxprompt 节点风格细节等级需注意(1=27×27 最强,14=1×1 最弱)。 2. 进行高精度的换装: 先进行预处理的工作,拼出来 mask。 重绘 mask 区域。 工作流解释: 1. 模特生成: 先生成与衣服匹配的模特,先不关注衣服的相似度,抽出满意的模特。 2. 服装高精度处理: mask 的处理:做两个工作,将模特身上的衣服分割出来,拼接出来对应模特与衣服合并后图片的遮罩。 提示词格式与 Redux 权重:使用 Flux 的 fill 模型,提示词书写格式为这是一组图片,左边是衣服,右边的模特穿着左边的衣服。Redux 这里,把权重的调整为最大。 【SD】商业换装教程: 1. 在扩展面板中使用网址安装 Segment Anything,guthub 地址:https://github.com/continuerevolution/sdwebuisegmentanything 。重启之后安装 SAM 模型。 2. 在 github 上有三个 SAM 模型,由大到小分别是 vit_h,可根据情况选择,大部分选 vit_l 。将下载好的 SAM 模型放在指定路径。 3. 测试 SAM 模型效果,左键点击要保留的部分打上黑点,右键点击不要的部分打上红点,双击不需要的点可移除。 4. 预览分离结果,选择合适的蒙版进行服装替换等操作。 点开“展开蒙版设置”,设定蒙版扩展量,建议 30,然后点击发送到“重绘蒙版”。 5. 换衣步骤:在图生图中,提示词输入“蓝色毛衣”,蒙版区域内容处理改为“填充”,尺寸改为和图像一致,重绘幅度为 1。 6. 若出现衔接问题,可通过降低重绘幅度或添加 openpose 控制人物身体姿势。还可使用 controlnet 的局部重绘功能,控制模式选择“更注重提示词”,自行试验选择效果好的。
2025-03-04
大语言模型的技术原理
大语言模型的技术原理包括以下几个方面: 1. 相关概念与关系: AI 即人工智能。 机器学习是电脑找规律学习,包括监督学习(有标签的训练数据,算法目标是学习输入和输出之间的映射关系,包括分类和回归)、无监督学习(学习的数据没有标签,算法自主发现规律,经典任务如聚类)、强化学习(从反馈里学习,最大化奖励或最小化损失,类似训小狗)。 深度学习是一种参照人脑有神经网络和神经元的方法(因有很多层所以叫深度),神经网络可用于监督学习、无监督学习、强化学习。 生成式 AI 可以生成文本、图片、音频、视频等内容形式。 LLM 即大语言模型,对于生成式 AI,生成图像的扩散模型不是大语言模型;对于大语言模型,生成只是其中一个处理任务,如谷歌的 BERT 模型可用于语义理解(不擅长文本生成),如上下文理解、情感分析、文本分类。 2. 技术里程碑:2017 年 6 月,谷歌团队发表论文《Attention is All You Need》,首次提出了 Transformer 模型,它完全基于自注意力机制(SelfAttention)来处理序列数据,而不需要依赖于循环神经网络(RNN)或卷积神经网络(CNN)。 3. 工作原理: 包括训练数据、算力、模型参数,在训练数据一致情况下,模型参数越大能力越强。 Transformer 是大语言模型训练架构,具备自我注意力机制能理解上下文和文本关联,其工作原理是单词预测,通过嵌入、位置编码、自注意力机制生成内容,模型调教中有控制输出的 temperature。 Transformer 模型通过不断检索和匹配来寻找依赖关系,处理词和词之间的位置组合,预测下一个词的概率,是一个偏向概率预测的统计模型。 4. 可能存在的问题:大模型可能因错误数据导致给出错误答案,即大模型幻觉,优质数据集对其很重要。 5. 相关应用: 国内大模型有通用模型如文心一言、讯飞星火等,处理自然语言;还有垂直模型,专注特定领域如小语种交流、临床医学、AI 蛋白质结构预测等。 Prompt 分为 system prompt、user prompt 和 assistant prompt,写好 prompt 的法则包括清晰说明、指定角色、使用分隔符、提供样本等,核心是与模型好好沟通。 Fine tuning 微调是基于通用大模型,针对特定领域任务提供数据进行学习和调整,以适应特定领域的需求。
2025-03-18
我准备用无影云电脑部署一个独属于我们公司的AI,在大模型方面我准备用deepseek的满血版,你有什么建议吗
以下是关于您准备用无影云电脑部署公司专属 AI 并使用 deepseek 满血版大模型的一些建议: 1. 本地部署方面:如果拥有云服务器,要了解如何进行本地部署以及满血版本地部署的实际情况。 2. 免费额度:在 freely.aliyun.com 可领取 500 元免费额度,但有使用限制,不能部署满血版和较大的增流模型。 3. 平台服务差异:了解 DLC、DSW 和 EAS 等模型部署平台服务的差别。 4. 模型蒸馏微调:可以学习并实践模型的蒸馏和微调相关知识。 5. 获取 DeepSeekR1 满血版密钥: 注册并登录火山引擎,点击立即体验进入控制台。 创建一个接入点,点击在线推理创建推理接入点。 为接入点命名为 DeepSeekR1。 若有提示未开通模型,点击“立即开通”,勾选全部模型和协议一路开通。 确认无误后点击“确认接入”按钮。 复制推理点的 ID 并保存。 点击【API 调用】按钮,复制 API Key 并保存。 6. 模型选择与配置:可以参考理想的配置,如推理模型选择 gemini2.0flashthinking,代码模型选择 claude3.5sonet 或 gpt4omini,多模态模型选择 gemini2.0flash,常规模型选择 DeepSeek V3。同时,了解 OpenRouter 新发布的 BYOK 功能,它能集成第三方 Key,整合免费额度并解放更多槽位。若对现有供应商支持的模型不满意,还可考虑 simpleoneapi。
2025-03-18
如果喂给模型的数据样本量太少怎么办?
当喂给模型的数据样本量太少时,可以考虑以下方法: 1. 利用零样本提示:如今经过大量数据训练并调整指令的 LLM 能够执行零样本任务。指令调整已被证明可以改善零样本学习,如 Wei 等人(2022)所指出。此外,RLHF(来自人类反馈的强化学习)已被采用以扩展指令调整,推动了像 ChatGPT 这样的模型。当零样本不起作用时,建议在提示中提供演示或示例,这就引出了少样本提示。 2. 采用少样本提示:在机器学习和人工智能领域中,少样本提示是指当只有很少数量的标记样本可用于训练模型时,通过巧妙设计任务描述、提供相关背景知识或利用预训练模型等方法,引导模型在有限样本条件下更好地理解和解决任务。少样本提示对格式有很好的限定和约束作用,但推理问题响应稳定性差。 细节的格式限定: 字数限制:限制 ChatGPT 输出的文本长度,以避免输出过长或不合适的回复。可以设置最大字符数或最大字数来控制输出长度。 形式限定:限定输出内容的形式,比如回复领导邮件、工作周报等形式。 细节限制:对文本的格式进行优化,如标题使用斜体、语料使用引用格式、供给读者使用的文字使用代码格式、数据对比使用表格展示、流程化步骤使用流程表格式等。 需要注意的是,这些方法虽然能在一定程度上缓解样本量少的问题,但对于推理、计算等问题,可能需要进一步使用其他方法。
2025-03-18
MoE模型训练为什么会比dense模型要更困难?
MoE 模型训练比 dense 模型更困难的原因主要包括以下几点: 1. 内存需求:MoE 模型需要将所有专家加载到内存中,这导致其需要大量的 VRAM。 2. 微调挑战:微调 MoE 模型存在困难,历史上在微调过程中较难泛化。 3. 训练设置:将密集模型转换为 MoE 模型时,虽然训练超参数和训练设置相同,但 MoE 模型的特殊结构仍带来了训练上的复杂性。 4. 计算效率与泛化平衡:MoE 模型在训练时更具计算效率,但在微调时难以实现良好的泛化效果。
2025-03-17
可以同时接多个大模型api的聊天应用
以下是一些可以同时接多个大模型 API 的聊天应用: 1. 熊猫大侠:基于 COW 框架的 ChatBot 实现步骤 能实现打造属于自己的 ChatBot(文本对话、文件总结、链接访问、联网搜索、图片识别、AI 画图等)、常用开源插件的安装应用等功能。 支持多平台接入,如微信、企业微信、公众号、飞书、钉钉等。 可选择多模型,如 GPT3.5/GPT4.0/Claude/文心一言/讯飞星火/通义千问/Gemini/GLM4/LinkAI 等。 支持多消息类型,包括文本、语音和图片,以及基于自有知识库进行定制的企业智能客服功能。 有多种部署方法,如本地运行、服务器运行、Docker 的方式。 风险与注意事项:微信端因非常规使用有封号危险,不建议主力微信号接入;操作需依法合规,对大模型生成的内容注意甄别,禁止用于非法目的,处理敏感或个人隐私数据时注意脱敏。 相关教程:张梦飞同学写的更适合小白的使用教程 2. DIN:全程白嫖拥有一个 AI 大模型的微信助手 搭建步骤: 搭建,用于汇聚整合多种大模型接口,并可白嫖大模型接口。 搭建,这是个知识库问答系统,可将知识文件放入,并接入大模型作为分析知识库的大脑来回答问题。若不想接入微信,其自身有问答界面。 搭建接入微信,配置 FastGpt 将知识库问答系统接入微信,建议先用小号以防封禁风险。 拓展功能:搭建完后想拓展 Cow 的功能,可参考 Yaki.eth 同学的教程,里面的 cow 插件能进行文件总结、MJ 绘画。 3. LLM 开源中文大语言模型及数据集集合中的外部挂件应用 wenda: 地址: 简介:一个 LLM 调用平台。为小模型外挂知识库查找和设计自动执行动作,实现不亚于大模型的生成能力。 JittorLLMs: 地址: 简介:计图大模型推理库:笔记本没有显卡也能跑大模型,具有成本低,支持广,可移植,速度快等优势。 WebCPM 地址: 简介:一个支持可交互网页搜索的中文大模型。 GPT Academic: 地址: 简介:为 GPT/GLM 提供图形交互界面,特别优化论文阅读润色体验,支持并行问询多种 LLM 模型,兼容复旦 MOSS, llama, rwkv, 盘古等。 ChatALL: 地址: 简介:ChatALL(中文名:齐叨)可以把一条指令同时发给多个 AI,可以帮助用户发现最好的回答。
2025-03-17
什么样的数据集适合测试大语言模型?
以下是一些适合测试大语言模型的数据集: Guanaco:地址为,是一个使用 SelfInstruct 的主要包含中日英德的多语言指令微调数据集。 chatgptcorpus:地址为,开源了由 ChatGPT3.5 生成的 300 万自问自答数据,包括多个领域,可用于训练大模型。 SmileConv:地址为,数据集通过 ChatGPT 改写真实的心理互助 QA 为多轮的心理健康支持多轮对话,含有 56k 个多轮对话,其对话主题、词汇和篇章语义更加丰富多样,更符合长程多轮对话的应用场景。 用于评估大语言模型的框架和基准有: GAOKAOBench:地址为,是以中国高考题目为数据集,测评大模型语言理解能力、逻辑推理能力的测评框架,收集了 2010 2022 年全国高考卷的题目,包括 1781 道客观题和 1030 道主观题。 AGIEval:地址为,是由微软发布的新型基准测试,选取 20 种面向普通人类考生的官方、公开、高标准往常和资格考试,包括普通大学入学考试(中国高考和美国 SAT 考试)、法学入学考试、数学竞赛、律师资格考试、国家公务员考试等。 Xiezhi:地址为,是由复旦大学发布的一个综合的、多学科的、能够自动更新的领域知识评估 Benchmark,包含 13 个学科门类,24 万道学科题目,516 个具体学科,249587 道题目。 此外,在多语言能力评测方面,还使用了以下数据集: MMMLU:来自 Okapi 的多语言常识理解数据集,在阿、德、西、法、意、荷、俄、乌、越、中这几个子集进行测试。 MGSM:包含德、英、西、法、日、俄、泰、中和孟在内的数学评测。针对人工评测,使用内部评估集比较了 Qwen272BInstruct 与 GPT3.5、GPT4 和 Claude3Opus,该评测集包括 10 种语言:ar(阿拉伯语)、es(西班牙语)、fr(法语)、ko(韩语)、th(泰语)、vi(越南语)、pt(葡萄牙语)、id(印度尼西亚语)、ja(日语)和 ru(俄语)。
2025-03-17
可以给出国内出名的大语言模型的信息吗,包括其模型名称,版本,发布时间,发布公司,模型参数,性能特点等信息,尽可能覆盖更多的大模型,使用表格输出,并按照发布时间排序
|模型名称|版本|发布时间|发布公司|模型参数|性能特点|适合应用| |||||||| |Baichuan213BChat|Baichuan2192K|10月31日|百川智能|未提及|在逻辑推理、知识百科、生成与创作、上下文对话等基础能力上排名200亿参数量级国内模型第一,在计算和代码能力上有一定优化空间|场景相对广泛且可以私有化部署,重点推荐在小说/广告/公文写作等内容创作场景、智能客服/语音助手以及任务拆解规划等场景,可部署在教育、医疗、金融等垂直行业中应用,同时可部署在低算力终端处理基础智能任务| |文心一言|V4.0|10月17日|百度|未提及|在计算、逻辑推理、生成与创作、传统安全这4大基础能力上排名国内第一,在代码、知识与百科、语言理解与抽取、工具使用能力上排名国内前三,各项能力表现均衡且绝大部分能力有很高的水平|能力栈较为广泛,可应用的场景较多,重点推荐在查询搜索知识应用、任务拆解规划Agent、文案写作以及代码编写及纠错等方面的应用,由于在逻辑推理方面的不俗表现,可以重点关注在科学研究、教育、工业方面的落地能力| |通义千问 2.0|2.0|10月31日|阿里云|千亿级参数|未提及|未提及|
2025-03-15
token与参数的关系
Token 与参数存在密切关系。在大模型中,用于表达 token 之间关系的参数众多,主要指模型中的权重(weight)与偏置(bias)。例如,GPT3 拥有 1750 亿参数,而词汇表 token 数相对较少,只有 5 万左右。 目前使用的大模型存在 token 限制,如 Claude2100k 模型的上下文上限是 100k Tokens(100000 个 token),ChatGPT16k 模型的上下文上限是 16k Tokens(16000 个 token),ChatGPT432k 模型的上下文上限是 32k Tokens(32000 个 token)。这种 token 限制同时对一次性输入和一次对话的总体上下文长度生效,当达到上限时不是停止对话,而是遗忘最前面的对话。 在分词过程中,不同的字符串会被编码为不同的 token,例如字符串“Tokenization”编码到 token30642 及其后的 token1634,token“is”(包括前面的空格)是 318 等。数字的分解可能不一致,如 127 是由 3 个字符组成的 token,677 是 2 个 token 等。 为了让计算机理解 Token 之间的联系,需要把 Token 表示成稠密矩阵向量,这个过程称为 embedding,常见算法包括基于统计的 Word2Vec、GloVe 等,基于深度网络的 CNN、RNN/LSTM 等,基于神经网络的 BERT、Doc2Vec 等。以 Transform 为代表的大模型采用自注意力机制来学习不同 token 之间的依赖关系,生成高质量 embedding。
2025-03-06
ai大模型有哪些常用参数
以下是关于 AI 大模型常用参数的相关内容: 1. 架构方面: Encoderonly:适用于自然语言理解任务,如分类和情感分析,代表模型是 BERT。 Encoderdecoder:结合 Transformer 架构的 encoder 和 decoder 来理解和生成内容,用例包括翻译和摘要,代表是谷歌的 T5。 Decoderonly:更擅长自然语言生成任务,众多 AI 助手采用此结构,如 ChatGPT。 2. 规模方面: 预训练数据量大,往往来自互联网上的论文、代码、公开网页等,一般用 TB 级别数据进行预训练。 参数众多,如 Open 在 2020 年发布的 GPT3 就已达到 170B 的参数。参数指的是神经网络的输入权重和输出阈值的总和。假定一个神经元有 9 个输入权重和 1 个输出阈值,就有 10 个参数。当有 100 亿个这样的神经元时,就形成千亿级参数的大模型。 3. 模型部署方面: 在 LLM 中,Token 是输入的基本单元。由于大模型参数多,如 GPT2 有 1.5B 参数,每个参数用 float32 表示需 6GB 内存,更先进的模型如 LLAMA 有 65B 参数则需 260G 内存(还不考虑词汇表)。因此实际部署时会进行模型压缩。 在训练 LLM 中,CPU 与内存之间的传输速度往往是系统瓶颈,核心数反而不是大问题,减小内存使用是首要优化点。使用内存占用更小的数据类型是直接方式,如 16 位浮点数可将内存使用减倍。目前有几种相互竞争的 16 位标准,英伟达在其最新一代硬件中引入了对 bfloat16 的支持。
2025-03-03
大模型中的参数是什么
大模型中的参数主要指模型中的权重(weight)与偏置(bias)。例如,GPT3 拥有 1750 亿参数,其中权重数量达到了这一量级,而词汇表 token 数只有 5 万左右。在 LLM 中,由于模型参数非常多,如 GPT2 有 1.5B 参数,每个参数用 float32 表示,所需内存大小为 4 bytes1,500,000,000 = 6GB,更先进的模型如 LLAMA 有 65B 参数,所需内存就需要 260G(这还是在不考虑词汇表的情况下)。因此在进行模型实际部署时,会进行模型的压缩。
2025-03-03
炼丹需要了解的参数
炼丹需要了解的参数主要包括以下方面: 1. 学习步数:指 AI 对每张图片的学习次数。二次元图片的 repeat 一般在 10 15,写实人物图片的 repeat 一般在 30 50,真实世界的景观场景可能要达到 100。repeat 值越高,AI 对图片的理解越好,但图片精细度越高,学习步数也要越高。 2. 循环次数:AI 将所有图片按照学习步数学习一轮即为一次循环,循环次数指将这个过程重复的遍数。一般数值在 10 20 之间,次数并非越多越好,过多可能导致过拟合,即训练结果过于僵化。 3. 训练总步数:通过图片张数×学习步数×循环次数计算得出。例如 5 张图片,学习步数 50,循环次数 10,训练总步数为 2500 步。
2025-02-21
大模型相关术语中,参数和Token分别指什么?
在大模型相关术语中: 参数:主要指模型中的权重(weight)与偏置(bias),大模型的“大”通常体现在用于表达 token 之间关系的参数数量众多,例如 GPT3 拥有 1750 亿参数,其中权重数量达到了这一量级。 Token:大模型有着自己的语言体系,Token 是其语言体系中的最小单元。人类语言发送给大模型时,会先被转换为大模型的语言,这种转换的基本单位就是 Token。不同厂商的大模型对 Token 的定义可能不同,以中文为例,通常 1 Token 约等于 1 2 个汉字。大模型的收费计算方法以及对输入输出长度的限制,通常都是以 Token 为单位计量的。Token 可以代表单个字符、单词、子单词,甚至更大的语言单位,具体取决于所使用的分词方法(Tokenization),在将输入进行分词时,会对其进行数字化,形成一个词汇表。
2025-02-13
能根据人物图片生成需要的场景吗
是的,AI可以基于人物图片生成相应的场景。这种技术通常被称为“场景生成”或“背景替换”,并且已经被应用于多个领域,包括但不限于: 1. 照片编辑软件:一些照片编辑软件和应用程序使用AI来识别人物并替换背景,例如Adobe Photoshop的最新版本。 2. 在线服务:存在一些在线服务和工具,它们提供自动背景替换功能,用户只需上传图片,AI就会处理并提供一个新背景的版本。 3. 移动应用程序:一些手机应用程序也集成了类似的AI功能,允许用户在移动设备上快速更换照片背景。 4. 专业工具:对于更高级的用途,如电影制作或视频游戏开发,专业的软件工具可以利用AI来创建复杂的场景和环境。 5. 个性化内容:AI还可以根据人物图片生成个性化的虚拟场景,例如将用户放置在虚拟的度假胜地或特定活动场景中。 6. 社交媒体:一些社交媒体平台和应用程序提供滤镜和效果,使用AI将用户放置在不同的虚拟背景中,用于分享。 7. AI艺术创作:AI艺术生成工具,如Stable Diffusion或Midjourney,可以根据文本描述或图片生成艺术作品或场景。 8. 视频制作:AI视频生成工具,如VEED.IO或Clipfly,可以用于视频编辑,包括背景替换和场景生成。 要使用这些工具,你通常需要上传人物图片,然后AI会分析图片内容,识别人物和背景,接着根据用户的选择或预设的模板生成新的背景或场景。这些工具的准确性和生成的图像质量可能会因不同的AI模型和算法而异。
2024-07-29
推荐人物图片素材的网站
以下是一些推荐的人物图片素材网站,这些网站提供高质量、免费的图片素材,可以用于各种项目: 1. Unsplash: 提供大量高分辨率的免费图片,涵盖各种类别,包括人物照片。所有图片都可以免费用于商业和非商业项目,无需署名。 2. Pexels: 提供免费的人物图片,支持高质量的下载。Pexels上的所有图片都可以免费使用,无需授权。 3. Pixabay: 是另一个免费的图片资源网站,提供超过一百万张高质量的照片、插画和矢量图,包括丰富的人物素材。 4. Burst by Shopify: 是Shopify推出的免费图片库,专为电商网站设计,提供多种类别的高质量图片,其中也包括大量人物照片。 5. Gratisography: 提供独特且高分辨率的免费图片,包括人物照片。所有图片都可以用于个人和商业用途。 6. Picjumbo: 提供丰富的免费图片资源,包含大量人物素材,适用于各种设计项目。 7. Stocksnap.io: 拥有大量免费的高分辨率图片,包括各种人物照片,所有图片均可用于商业和非商业项目。 8. Flickr: 上有许多用户共享的高质量照片,其中部分照片在Creative Commons许可下可免费使用。需要查看具体照片的授权条款。 这些网站提供的免费图片素材大多可以用于商业用途,但在使用之前建议查看每张图片的具体授权条款,确保符合使用要求。
2024-05-30