直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

文生图lora微调

回答

以下是关于文生图 lora 微调的详细内容:

定主题:明确您需要生成的图片的主题、风格和要表达的信息。

选择基础模型 Checkpoint:根据主题选择内容贴近的 checkpoint,如麦橘、墨幽的系列模型,如麦橘写实、麦橘男团、墨幽人造人等。

选择 lora:基于生成内容寻找重叠的 lora,以控制图片效果和质量,可参考广场上优秀帖子中使用的 lora。

ControlNet:可控制图片中特定图像,如人物姿态、生成特定文字或艺术化二维码等,属于高阶技能。

局部重绘:下篇再教。

设置 VAE:无脑选择 840000 即可。

Prompt 提示词:用英文写需求,使用单词和短语组合,不用管语法,单词、短语间用英文半角逗号隔开。

负向提示词 Negative Prompt:同样用英文写要避免的内容,单词和短语组合,用英文半角逗号隔开。

采样算法:一般选 DPM++ 2M Karras 较多,也可参考 checkpoint 详情页上模型作者推荐的采样器。

采样次数:选 DPM++ 2M Karras 时,采样次数通常在 30 - 40 之间。

尺寸:根据个人喜好和需求选择。

以下是一个简笔水彩风格插画的示例: 使用大模型“Flat - 2D Animerge”,适合生成卡通动漫图片,官方建议 CFG 值在 5 或 6(使用动态阈值修复可拉到 11)。搭配两个 lora,“Chinese painting style”可增加中国画水彩风格效果,权重设为 0.4;“Crayon drawing”可添加简单线条和小孩子笔触,权重设为 0.8。将图片丢到标签器中反推关键词,发送到“文生图”。在正向提示词末尾添加这两个 lora,尺寸按参考图设置,重绘幅度开 0.5 让 AI 更自由发挥,若想更接近原图可降低数值。将图放入 ControlNet 中,选择 tile 模型,权重为 0.5,控制模式选择“更注重提示词”。

内容由 AI 大模型生成,请仔细甄别(powered by aily)

参考资料

Tusiart简易上手教程

[title]Tusiart简易上手教程[heading1]简明操作流程[heading2]文生图定主题:你需要生成一张什么主题、什么风格、表达什么信息的图。选择基础模型Checkpoint:按照你需要的主题,找内容贴近的checkpoint。一般我喜欢用模型大佬麦橘、墨幽的系列模型,比如说麦橘写实、麦橘男团、墨幽人造人等等,效果拔群。选择lora:在你想要生成的内容基础上,寻找内容重叠的lora,帮助你控制图片效果及质量。可以多看看广场上做得好看的帖子里面,他们都在用什么lora。ControlNet:控制图片中一些特定的图像,可以用于控制人物姿态,或者是生成特定文字、艺术化二维码等等。也是高阶技能,后面再学不迟。局部重绘:下篇再教,这里不急。设置VAE:无脑选择前面提到的840000这个即可。Prompt提示词:用英文写你想要AI生成的内容,不用管语法也不要写长句,仅使用单词和短语的组合去表达你的需求。单词、短语之间用英文半角逗号隔开即可。负向提示词Negative Prompt:用英文写你想要AI避免产生的内容,也是一样不用管语法,只需单词和短语组合,中间用英文半角逗号隔开。采样算法:这玩意儿还挺复杂的,现在我一般选DPM++ 2M Karras比较多。当然,最稳妥的是留意checkpoint的详情页上,模型作者是否有推荐采样器,使用他们推荐的采样器会更有保障。采样次数:要根据你采样器的特征来,一般我选了DPM++ 2M Karras之后,采样次数在30~40之间,多了意义不大还慢,少了出图效果差。尺寸:看你喜欢,看你需求。

【SD】简笔水彩风格插画

[title]【SD】简笔水彩风格插画作者:白马少年介绍:SD实践派,出品精细教程发布时间:2023-06-20 20:04原文网址:https://mp.weixin.qq.com/s/TPSturdv9fdGRLAxEG2rKg今天给大家推荐一个大模型和lora的组合运用,可以生成一些类似简笔水彩风格的插画。首先是这个大模型“Flat-2D Animerge”,适合生成一些卡通动漫的图片。官方建议CFG值在5或6比较好。(如果使用动态阈值修复的话,可以拉到11)还有两个lora,一个是“Chinese painting style”,这个可以增加一些中国画水彩风格的效果。还有一个lora是“Crayon drawing”,它可以给画面添加一些简单的线条和小孩子的笔触。接下来,我们使用这三者的组合,将下面这张图片转换为简笔水彩风格吧。将图片丢到标签器中,反推出关键词,然后发送到“文生图”。在正向提示词的末尾,添加上这两个lora,“Chinese painting style”权重设置为0.4,“Crayon drawing”权重设置为0.8。尺寸按照参考图设置好,重绘幅度开0.5可以让AI更自由发挥一点,如果想和原图更接近,可以降低数值。将图放入controlnet中,选择tile模型,权重为0.5,控制模式选择“更注重提示词”。这里的权重主要会影响画面的复杂度,数值越高,细节越多,数值太低的话,会和图像差得比较远。点击生成,这样一幅简笔水彩风格的插画就完成了,是不是很治愈呢?

Liblibai简易上手教程

[title]Liblibai简易上手教程[heading1]简明操作流程[heading2]文生图定主题:你需要生成一张什么主题、什么风格、表达什么信息的图。(没错我是喜欢看plmm多点)选择Checkpoint:按照你需要的主题,找内容贴近的checkpoint。一般我喜欢用模型大佬麦橘、墨幽的系列模型,比如说麦橘写实、麦橘男团、墨幽人造人等等,效果拔群。选择lora:在你想要生成的内容基础上,寻找内容重叠的lora,帮助你控制图片效果及质量。可以多看看广场上做得好看的帖子里面,他们都在用什么lora。设置VAE:无脑选840000那一串就行。CLIP跳过层:设成2就行。Prompt提示词:用英文写你想要AI生成的内容,不用管语法也不要写长句,仅使用单词和短语的组合去表达你的需求。单词、短语之间用英文半角逗号隔开即可。负向提示词Negative Prompt:用英文写你想要AI避免产生的内容,也是一样不用管语法,只需单词和短语组合,中间用英文半角逗号隔开。采样方法:这玩意儿还挺复杂的,现在一般选DPM++ 2M Karras比较多。当然,最稳妥的是留意checkpoint的详情页上,模型作者是否有推荐采样器,使用他们推荐的采样器会更有保障迭代步数:要根据你采样器的特征来,一般我选了DPM++ 2M Karras之后,迭代步数在30~40之间,多了意义不大还慢,少了出图效果差。尺寸:看你喜欢,看你需求。生成批次:默认1批。

其他人在问
文生图
以下是关于文生图的相关知识: 简明操作流程: 定主题:明确生成图片的主题、风格和要表达的信息。 选择基础模型 Checkpoint:根据主题选择贴近的模型,如麦橘、墨幽的系列模型。 选择 lora:寻找与生成内容重叠的 lora,以控制图片效果和质量。 ControlNet:可控制图片中特定图像,如人物姿态、生成特定文字等,属于高阶技能。 局部重绘:下篇再教。 设置 VAE:无脑选择 840000 这个即可。 Prompt 提示词:用英文写需求,使用单词和短语组合,用英文半角逗号隔开。 负向提示词 Negative Prompt:用英文写避免产生的内容,单词和短语组合,用英文半角逗号隔开。 采样算法:一般选 DPM++ 2M Karras,也可参考模型作者推荐的采样器。 采样次数:选 DPM++ 2M Karras 时,采样次数在 30 40 之间。 尺寸:根据喜好和需求选择。 提示词写作: Stable Diffusion 的生成方式主要分为文生图和图生图两种,文生图仅通过正反向词汇描述来发送指令。 文本描述分为内容型提示词和标准化提示词,内容型提示词用于描述想要的画面。 采样迭代步数通常控制在 20 40 之间。 常用采样方法有 Euler a、DPM++2S a Karras、DPM++2M Karras、DPM++ SDE Karras、DDIM,有的模型有指定算法,搭配更好。 比例设置为 800:400,高宽比尽量在 512x512 数值附近。 文生图工具: DALL·E:OpenAI 推出,可根据文本描述生成逼真图片。 StableDiffusion:开源,能生成高质量图片,支持多种模型和算法。 MidJourney:图像生成效果好,界面用户友好,在创意设计人群中流行。 更多工具可在 WaytoAGI 网站(https://www.waytoagi.com/category/104 )查看。
2024-10-18
如何训练自己的文生文大模型?
训练自己的文生文大模型是一个复杂且计算量巨大的过程,主要包括以下步骤: 1. 准备资源:需要大量的互联网文本资源,通常约 10TB 的文本,用于模型的训练。 2. 硬件设施:需要一个 GPU 集群,大约 6000 个 GPU,运行约 12 天,费用约 200 万美元。 3. 模型选择与理解:了解不同的模型架构和算法,例如 Llama2 70B 等开源模型,以及其训练方式和相关论文。 4. 数据处理:对获取的大量文本进行处理和压缩,将其转化为适合模型训练的格式。 5. 训练过程:这是一个复杂的计算过程,类似于对互联网的一大块内容进行有损压缩,以获取模型的参数。 需要注意的是,模型训练比模型推理要复杂得多,模型推理可以在 MacBook 上运行,但训练需要强大的计算能力和大量的资源支持。
2024-10-18
文生视频哪家强
目前在文生视频领域,以下是一些表现较为出色的产品: 1. Sora:由 OpenAI 开发,可生成长达 1 分钟以上的视频。 2. Pika:是一款出色的文本生成视频 AI 工具,擅长动画制作,并支持视频编辑。其新模型在文生视频质量上有大幅提升,例如生成皮克斯风格的镜头效果出色,稳定性高,语义理解强,动作幅度大,在 3D 和 2D 动画效果方面表现优秀。 3. SVD:如果熟悉 Stable Diffusion,可以安装这款最新的插件,在图片基础上直接生成视频,由 Stability AI 开源。 4. Runway:老牌 AI 视频生成工具,提供实时涂抹修改视频的功能,但需要收费。 5. Kaiber:视频转视频 AI,能够将原视频转换成各种风格的视频。 更多的文生视频的网站可以查看:https://www.waytoagi.com/category/38 。 以下是 Sora 和其他模型能力的对比表格: |能力分类|能力|SORA|其他| ||||| |底层技术|架构|Transformer|UNet 为主| |底层技术|驱动方式|数据|图片| |对于真实世界的理解/模拟能力|世界理解能力|可理解世界知识|弱| |对于真实世界的理解/模拟能力|数字世界模拟|支持|不支持| |对于真实世界的理解/模拟能力|世界互动能力|支持|不支持| |对于真实世界的理解/模拟能力|3D 运动连贯性|强|弱| |对于真实世界的理解/模拟能力|物体一致性|强|弱| |对于真实世界的理解/模拟能力|物体持久性/连续性|强|弱| |对于真实世界的理解/模拟能力|文本理解|强|一般| |对于真实世界的理解/模拟能力|运动控制|其他|提示词提示词+运动控制工具| |基于模拟的视频编辑能力|无缝连接能力|强|弱| |基于模拟的视频编辑能力|视频到视频编辑|支持|部分| |基于模拟的视频编辑能力|扩展生成视频|前/后|后| |外显视频基础属性|视频时长|60 秒|2~4 秒| |外显视频基础属性|原生纵横比|支持|不支持| |外显视频基础属性|清晰度|1080P|最高 4K| 不同工具适合于不同的使用场景和需求,您可以根据自己的具体情况进行选择。
2024-10-15
文生视频
以下是关于文生视频的相关信息: 文字生成视频的 AI 产品有: 1. Pika:一款出色的文本生成视频 AI 工具,擅长动画制作,并支持视频编辑。 2. SVD:若熟悉 Stable Diffusion,可安装其最新插件,在图片基础上直接生成视频,这是由 Stability AI 开源的 video model。 3. Runway:老牌 AI 视频生成工具,提供实时涂抹修改视频的功能,但需收费。 4. Kaiber:视频转视频 AI,能够将原视频转换成各种风格的视频。 5. Sora:由 OpenAI 开发,可以生成长达 1 分钟以上的视频。 更多的文生视频的网站可以查看: PixVerse V2 使用教程: 单个视频生成(8s):8s 的视频生成需要花费 30Credits,5s 的视频生成需要花费 15Credits,且只能使用 PixVerse V2 模型,生成时请注意模型选择。目前仅支持 16:9 画面比例的视频生成。 文生视频:点击“Text to Video”,在“Model”选择“PixVerse V2”,视频时长。PixVerse V2 支持多风格的视频生成,您可以通过在提示词中加入“Anime”,“Realistic”等词语做到这点。 图生视频:点击“Image to Video”,在“Model”选择“PixVerse V2”。图生视频暂不支持“Magic Brush”、“Camera Motion”、“Motion Strength”等功能,如需要使用上述功能,请将模型切换至“PixVerse V1”。 Sora 的前世今生:从文生图到文生视频,其模型推理策略包括: 1. 文生视频:喂入 DiT 的就是文本 embedding+全噪声 patch。 2. 视频编辑:类似 SDEdit 的做法,在视频上加点噪声(不要搞成全是噪声),然后拿去逐步去噪。 3. 图生视频、视频反推、视频融合:喂入 DiT 的就是文本 embedding(可选)+特定帧用给定图片的 embedding+其他帧用全噪声 patch。
2024-10-15
文生图站点推荐
以下是为您推荐的一些文生图站点和工具: 1. DALL·E:由 OpenAI 推出,能根据输入的文本描述生成逼真的图片。 2. StableDiffusion:开源的文生图工具,可生成高质量图片,支持多种模型和算法。 3. MidJourney:因高质量的图像生成效果和友好的界面设计受到广泛欢迎,在创意设计人群中尤其流行。 您还可以在 WaytoAGI 网站(https://www.waytoagi.com/category/104)查看更多文生图工具。 关于文生图写提示词,通常的描述逻辑包括人物及主体特征(服饰、发型发色、五官、表情、动作),场景特征(室内室外、大场景、小细节),环境光照(白天黑夜、特定时段、光、天空),画幅视角(距离、人物比例、观察视角、镜头类型),画质(高画质、高分辨率),画风(插画、二次元、写实)等。对于新手,有以下功能型辅助网站帮助书写提示词: 1. http://www.atoolbox.net/ :通过选项卡方式快速填写关键词信息。 2. https://ai.dawnmark.cn/ :每种参数都有缩略图参考,方便直观选择提示词。 3. 还可以去 C 站(https://civitai.com/)抄作业,每一张图都有详细参数,可点击复制数据按钮,粘贴到正向提示词栏,然后点击生成按钮下的第一个按键,不过要注意图像作者使用的大模型和 LORA。 以下是一些用户在工作中使用文生图的情况: |姓名|联系方式|用途| |||| |薄荷|电商应用出图,辅助创意落地| |龙飞|用于海报生成| |wangzhao111|15571666325|不知道| |Crossing|AI 摄影、图生视频等| |朔|13670516075|大图像以及视频工作流| |Roger|18658866328|工作| |秦梧御|15966569697|视频| |dwing3|13702513842|出图| |May|18018539454|应用| |王西西|18820134184|还不清楚| |丘嘉杰|13413477173|文生图,图生图,图生视频| |吴林林|13968945722|自用,给朋友做写真| |刘燕兰|13066870649|电商应用| |朱鹏|18781609127|广告出图| |水水|视频制作| |韩影|17801234978|作图,做视频| |斌哥|18250885849|自媒体| |德方|18600081286|设计、建模、绘图、效果图、视频| |树一|15659268616|自媒体| |任振亮|13513700768|自媒体| |陈锦燊|16698528851|视觉设计、快速出图| |李恒安|18366606265|动漫| |谌峰|13925911177|视频,人物,室内设计|
2024-10-14
文生视频
以下是关于文生视频的相关信息: 文字生成视频的 AI 产品有: 1. Pika:擅长动画制作,支持视频编辑。 2. SVD:若熟悉 Stable Diffusion,可安装其最新插件,在图片基础上生成视频,由 Stability AI 开源。 3. Runway:老牌 AI 视频生成工具,提供实时涂抹修改视频功能,但收费。 4. Kaiber:视频转视频 AI,能将原视频转换成各种风格的视频。 5. Sora:由 OpenAI 开发,可生成长达 1 分钟以上的视频。 更多的文生视频网站可查看:https://www.waytoagi.com/category/38 (内容由 AI 大模型生成,请仔细甄别) PixVerse V2 使用教程: 单个视频生成(8s):8s 的视频生成需要花费 30 Credits,5s 的视频生成需要花费 15 Credits,且只能使用 PixVerse V2 模型,生成时请注意模型选择。目前仅支持 16:9 画面比例的视频生成。 文生视频:点击“Text to Video”,在“Model”选择“PixVerse V2”,支持多风格的视频生成,可在提示词中加入“Anime”“Realistic”等词语。 图生视频:点击“Image to Video”,在“Model”选择“PixVerse V2”。图生视频暂不支持“Magic Brush”“Camera Motion”“Motion Strength”等功能,如需使用上述功能,请将模型切换至“PixVerse V1”。 Sora 的模型推理策略: 官方展示 Sora 的应用包括文生视频、图生视频、视频反推、视频编辑、视频融合等。比如: 1. 文生视频:喂入 DiT 的是文本 embedding + 全噪声 patch。 2. 视频编辑:类似 SDEdit 的做法,在视频上加点噪声(不要搞成全是噪声),然后拿去逐步去噪。 3. 图生视频、视频反推、视频融合:喂入 DiT 的是文本 embedding(可选)+特定帧用给定图片的 embedding +其他帧用全噪声 patch。
2024-10-09
使用人物Lora生成的图片中有多个人物时,怎么让人物的形象各不相同?
在 Stable Diffusion 中,若使用人物 Lora 生成的图片中有多个人物并想让人物形象各不相同,可参考以下方法: 1. 在提示词中输入数量词(如 2girls 或 3boys 等),再加上各自的描述提示词。若刷图成功率不高,可配合 openpose 控制,做一个多人骨架,以生成多人物构图。 2. 需使用不同的 Lora 来区分人物,但单纯靠提示词可能行不通。 3. 分区控制思路: Multidiffusion 的做法:启用 Tiled Diifusion,打开分区提示词控制,创建文生图画布。启用不同区域,分别填写背景、不同人物的描述词和 Lora。增加 controlnet 的 openpose 控制来稳定人物,但可能存在分区生成的人物连续性低、lora 控制不强等问题。 Latent Couple 的做法(文中未提及,需进一步探索)。 此外,关于 Lora 模型: 1. Lora 可以固定照片的特征,如人物特征、动作特征和照片风格。 2. 点击“生成”下面的第三个按钮,找到 Lora 选项,可添加下载保存到电脑的 Lora 模型,Lora 可叠加使用,但新手不建议使用太多,且 Lora 之间用英文逗号隔开,每个 Lora 后面的数字用于调整权重,一般只会降低权重。选择 Lora 应根据最初想要生成的照片类型决定。
2024-09-27
AI 增量训练 Lora
以下是关于 AI 增量训练 Lora 的相关知识: 参数理解: 1. 学习步数:指 AI 对每张图片的学习次数。二次元图片的 repeat 一般在 10 15,写实人物图片的 repeat 一般在 30 50,真实世界的景观场景可能要达到 100。理论上讲,图片精细度越高,学习步数越高。 2. 循环次数:AI 将所有图片按照学习步数学习一轮为一次循环,循环次数一般在 10 20 之间。次数并非越多越好,过多会导致过拟合,即画什么都和样图一样。 3. 效率设置:主要控制电脑的训练速度。可保持默认值,也可根据电脑显存微调,但要避免显存过载。 总的训练步数为:图片张数×学习步数×循环次数。 此外,沃尔夫勒姆提到人工智能是基于机器学习(通常通过神经网络实现),根据给出的示例进行增量训练,且这些示例包括大量人类生成的科学文本等,或者关于世界上发生的事情的实际经验。
2024-09-13
Lora简单介绍
Lora 全称 LowRank Adaptation Models,即低阶自适应模型,其作用在于影响和微调画面,能够再现人物或物品的特征。大模型的训练通常复杂且对电脑配置要求高,而 LoRA 采用在原模型中插入新的数据处理层的方式,避免了修改原有模型参数。LORA 模型训练是用特定特征替换大模型中的对应元素,从而生成不同于底模的图片,比如固定的人物相貌、特定的服装或者特定的风格。Lora 训练较为轻量化,所需显存较少,硬件门槛显存达到 6G 即可开启训练。 同时,模型微调方面,提供了 LoRA 微调和全量参数微调代码,关于 LoRA 的详细介绍可参考论文“。 此外,还有利用新版 SDXL 生成的如针线娃娃这样的 lora,它可以把一些常见形象制作成毛线编制的样子,需要使用 SDXL1.0 的模型,触发词是 BJ_Sewing_doll。
2024-09-09
Lora训练
以下是关于用 SD 训练一套贴纸 LoRA 模型的方法: 1. 打 tag(给图片写关键词):这是 SD 中的一个重要步骤。 2. LoRA 训练器:可用于训练。 3. SD 训练 UIWeb 启动成功:滚动至最下点击【LoRA 训练】,或者直接点击左侧菜单【LoRA 训练】。 4. 最后总结下 LoRA 模型训练的要点: 训练数据集准备:包括训练素材处理、图像预处理、打标优化。 训练环境参数配置:选择本地或云端训练环境,进行训练环境配置和训练参数配置。 模型训练:基于 kohyass 训练模型。 模型测试:通过 XYZ plot 测试模型。 5. 工作流: 原始形象:MJ 初步产出符合设计想法的贴纸原始形象。 二次加工:完成贴纸的白色边线等细节加工。 处理素材:给训练集图片打 tag,修改 tag。 训练模型:将上述处理好的数据集做成训练集,进行训练。
2024-09-06
LoRA (low rank adapter) 有哪些应用
LoRA(LowRank Adaptation Models,低阶自适应模型)具有以下应用: 1. 在图像生成方面,如 Stable Diffusion 中,通过影响和微调画面,再现人物或物品的特征。可以用特定特征替换大模型中的对应元素,生成不同于底模的图片。 2. 在语言模型中,如 Alpaca 对 LLaMA6B 的微调,在主路参数固定的基础上,在旁路加一个低秩的 shortcut,训练阶段主路固定,只训练旁路,极大降低参数量。初始化时 B 矩阵为 0,达到 zeroconvolution 的效果,推理时把旁路折叠到主路。 3. 个人可以通过 LoRA 炼制属于自己的模型,例如在 SD 中炼制人物、建筑、画风等方面的 lora 模型。LoRA 训练较为轻量化,硬件门槛显存达到 6G 即可开启训练。
2024-09-05
lora有哪些应用
LoRa(Sora)具有以下应用: 1. 增强视觉领域的可访问性:将文本描述转换为视觉内容,使包括视觉障碍者在内的所有人都能参与内容创作和互动,为每个人提供通过视频表达想法的机会,创造更具包容性的环境。 2. 营销领域:营销人员可利用其创建针对特定受众描述的动态广告。 3. 游戏开发:游戏开发者能借助它从玩家叙述中生成定制化的视觉效果甚至角色动作。 4. 电影制作:为电影制作提供创新的视觉生成方式。 5. 教育领域:在教育中发挥作用,例如生成特定的教学视频内容。 6. 自动化内容生成:加速内容生成的自动化进程。 7. 复杂决策支持:为复杂决策过程提供帮助和支持。
2024-09-05
推荐一下国内可以通过对话微调的预训练模型
以下是为您推荐的国内可以通过对话微调的预训练模型相关信息: 为优化 Llama2 的中文能力,可使用以下数据: 网络数据:互联网上公开的网络数据,包括百科、书籍、博客、新闻、公告、小说等高质量长文本数据。 :中文 Wikipedia 的数据。 :中文悟道开源的 200G 数据。 :Clue 开放的中文预训练数据,经过清洗后的高质量中文长文本数据。 竞赛数据集:近年来中文自然语言处理多任务竞赛数据集,约 150 个。 :MNBVC 中清洗出来的部分数据集。 社区提供预训练版本 Atom7B 和基于 Atom7B 进行对话微调的模型参数供开放下载,关于模型的进展详见社区官网 https://llama.family。 另外,关于会话补全(Chat completions): gpt3.5turbo 和 textdavinci003 两个模型能力相似,但前者价格只是后者的十分之一,在大部分情况下更推荐使用 gpt3.5turbo。 gpt3.5turbo 模型不支持微调。从 2023 年 3 月 1 日起,只能对基于 GPT3.5 的模型进行微调。有关如何使用微调模型的更多细节,请参阅微调指南。 从 2023 年 3 月 1 日起,OpenAI 会将您通过 API 发送的数据保留 30 天但不会使用这些数据来提升模型。 关于安仔:Coze 全方位入门剖析 免费打造自己的 AI Agent(国内版): 目前国内版暂时只支持使用“云雀大模型”作为对话引擎,其携带上下文轮数默认为 3 轮,可修改区间是 0 到 30,具体轮数可根据业务需求决定。 在 Bot 编排页面的“技能”区域,可为 Bot 配置所需技能。不懂插件时,可选择区域右上角的“优化”按钮让 AI Bot 根据提示词自动选择插件。也可自定义添加所需插件,点击插件区域的“+”号选择加入具体插件。 在 Bot 编排页面的“预览与调试”区域,可测试 Bot 是否按预期工作,可清除对话记录以开始新的测试,确保 Bot 能理解用户输入并给出正确回应。
2024-10-18
推荐一下个人可以使用的通过对话微调的模型
以下是一些个人可以使用的通过对话微调的模型相关信息: 会话补全(Chat completions): GPT3.5 系列中,gpt3.5turbo 和 textdavinci003 有相似能力,但 gpt3.5turbo 价格仅为 textdavinci003 的十分之一,在多数情况下更推荐使用 gpt3.5turbo。不过,gpt3.5turbo 不支持微调,从 2023 年 3 月 1 日起,只能对基于 GPT3.5 的模型进行微调。 微调(Finetuning): 案例研究: 客户支持聊天机器人:通常包含相关上下文、对话摘要及最近消息,可能需要几千个示例处理不同请求和客户问题,建议审查对话样本确保代理消息质量,可使用单独文本转换微调模型生成摘要。 基于技术属性列表的产品描述:将输入数据转换为自然语言很重要,确保完成基于所提供描述,若常查阅外部内容,自动添加此类内容可提高性能,若描述基于图像,提取图像文本描述可能有帮助。 模型(Models): GPT3.5 模型可理解和生成自然语言或代码,其中功能最强大、最具成本效益且针对聊天优化的型号是 gpt3.5turbo,建议使用它而非其他 GPT3.5 模型,因其成本更低。 gpt3.5turbo:功能强大,针对聊天优化,成本低,会使用最新模型迭代更新,最大 Token 数 4096,训练数据截至 2021 年 9 月。 gpt3.5turbo0301:2023 年 3 月 1 日的快照,不会更新,仅在 2023 年 6 月 1 日结束的三个月内提供支持,最大 Token 数 4096,训练数据截至 2021 年 9 月。 textdavinci003:能完成任何语言任务,支持文本中插入补全,最大 Token 数 4097,训练数据截至 2021 年 6 月。 textdavinci002:与 textdavinci003 类似,使用监督微调而非强化学习训练,最大 Token 数 4097,训练数据截至 2021 年 6 月。 codedavinci002:针对代码完成任务优化,最大 Token 数 8001,训练数据截至 2021 年 6 月。 请注意,OpenAI 模型具有不确定性,相同输入可能产生不同输出,将温度设置为 0 可使输出大部分具有确定性,但可能仍有少量可变性。
2024-10-18
个人使用可以通过对话微调的大模型
大模型是指输入大量语料,使计算机获得类似人类的“思考”能力,能够进行文本生成、推理问答、对话、文档摘要等工作。可以用“上学参加工作”来类比大模型的训练和使用过程: 1. 找学校:训练大模型需要大量计算,GPU 更合适,只有购买得起大量 GPU 的才有资本训练。 2. 确定教材:大模型需要的数据量特别多,几千亿序列(Token)的输入基本是标配。 3. 找老师:用合适的算法让大模型更好理解 Token 之间的关系。 4. 就业指导:为让大模型更好胜任某一行业,需要进行微调(fine tuning)指导。 5. 搬砖:完成就业指导后,进行如翻译、问答等工作,在大模型里称为推导(infer)。 在 LLM 中,Token 被视为模型处理和生成的文本单位,能代表单个字符、单词、子单词等,具体取决于分词方法。将输入分词时会数字化形成词汇表。 个人动手实验方面: macOS 系统可采用 GGML 量化后的模型。有名的项目如 ggerganov/llama.cpp:Port of Facebook's LLaMA model in C/C++ ,首先编译,利用 Metal 的 GPU 用相应命令编译,然后去下载模型,还提供了 WebUI,启动 server 后默认监听 8080 端口,打开浏览器可对话。 Whisper 与 llama 类似,用 make 命令编译,去指定地址下载量化好的模型,转换音频,目前只接受 wav 格式,可用 ffmpeg 转化。 张梦飞的教程《用聊天记录克隆自己的 AI 分身》全程本地操作,目标是把微信聊天记录导出,用其微调模型,最终接入微信替你回复消息。
2024-10-18
国内能通过对话微调的语言大模型
以下是国内一些能通过对话微调的语言大模型: 教育领域:桃李(Taoli) 地址: 简介:在国际中文教育领域数据上进行了额外训练的模型,基于国际中文教育教材等构建资源库和问答数据集,并利用数据进行指令微调,让模型习得将知识应用到具体场景中的能力。 数学领域:chatglmmaths 地址: 简介:基于 chatglm6b 微调/LORA/PPO/推理的数学题解题大模型,样本为自动生成的整数/小数加减乘除运算,可 gpu/cpu 部署,开源了训练数据集等。 文化领域:Firefly 地址: 简介:中文对话式大语言模型,构造了许多与中华文化相关的数据,如对联、作诗、文言文翻译、散文、金庸小说等,以提升模型在这方面的表现。 金融领域: Cornucopia(聚宝盆) 地址: 简介:开源了经过中文金融知识指令精调/指令微调的 LLaMA7B 模型。通过中文金融公开数据+爬取的金融数据构建指令数据集,并在此基础上对 LLaMA 进行了指令微调,提高了 LLaMA 在金融领域的问答效果。基于相同的数据,后期还会利用 GPT3.5 API 构建高质量的数据集,另在中文知识图谱金融上进一步扩充高质量的指令数据集。 BBTFinCUGEApplications 地址: 简介:开源了中文金融领域开源语料库 BBTFinCorpus,中文金融领域知识增强型预训练语言模型 BBTFinT5 及中文金融领域自然语言处理评测基准 CFLEB。 XuanYuan(轩辕) 地址: 简介:国内首个开源的千亿级中文对话大模型,同时也是首个针对中文金融领域优化的千亿级开源对话大模型。在 BLOOM176B 的基础上针对中文通用领域和金融领域进行了针对性的预训练与微调,不仅可以应对通用领域的问题,也可以解答金融相关的各类问题,为用户提供准确、全面的金融信息和建议。
2024-10-18
AI 增量训练和模型微调的区别
AI 增量训练和模型微调存在以下区别: 目的:增量训练通常是为了持续更新模型以适应新的数据和任务,而模型微调主要是为了使模型在特定的小领域数据集上针对特定任务达到更好的性能。 范围:增量训练可能涉及对模型的较大范围的更新,而微调往往集中在较小范围的参数调整。 方式:增量训练可能会对全量的模型参数进行训练,而微调存在全量微调(FFT)和参数高效微调(PEFT)两种技术路线,PEFT 只对部分模型参数进行训练,且目前在业界较为流行。 成本和效果:从成本和效果综合考虑,PEFT 是较好的微调方案。微调可以大幅提高模型在特定任务中的性能,但可能会使模型失去一些通用性。 数据使用:增量训练可能需要更多新的数据,而微调是在较小的、特定领域的数据集上进行。 如需了解更多关于微调的内容,可参考 OpenAI 官方微调教程:https://github.com/openai/openaicookbook/blob/main/examples/How_to_finetune_chat_models.ipynb
2024-09-13
模型微调都有哪些方式?
模型微调主要有以下方式: 1. 使用微调模型:当作业成功时,`fine_tuned_model`字段将填充模型名称。您现在可以将此模型指定为我们的`Completions API`的参数,并使用`Playground`向它发出请求。在您的工作首次完成后,您的模型可能需要几分钟时间才能准备好处理请求。如果对您的模型的完成请求超时,可能是因为您的模型仍在加载中。如果发生这种情况,请在几分钟后重试。您可以通过将模型名称作为`model`完成请求的参数传递来开始发出请求,包括`OpenAI`命令行界面、`cURL`、`Python`、`Node.js`等方式。您还可以继续使用所有其他完成参数,如`temperature`、`frequency_penalty`、`presence_penalty`等对这些请求进行微调模型。 2. 介绍:微调可让您从`API`提供的模型中获得更多收益,比如比即时设计更高质量的结果、能够训练比提示中更多的例子、由于更短的提示而节省了`Token`、更低的延迟请求。`GPT3`已经在来自开放互联网的大量文本上进行了预训练。当给出仅包含几个示例的提示时,它通常可以凭直觉判断出您要执行的任务并生成合理的完成,这通常称为“小样本学习”。微调通过训练比提示中更多的示例来改进小样本学习,让您在大量任务中取得更好的结果。对模型进行微调后,您将不再需要在提示中提供示例,这样可以节省成本并实现更低延迟的请求。在高层次上,微调涉及以下步骤:准备和上传训练数据、训练新的微调模型、使用您的微调模型。 3. 通义千问团队的微调方式:大规模预训练后,通义千问团队对模型进行精细的微调,以提升其智能水平,让其表现更接近人类。这个过程进一步提升了代码、数学、推理、指令遵循、多语言理解等能力。此外,模型学会对齐人类价值观,它也随之变得更加对人类有帮助、诚实以及安全。通义千问团队的微调过程遵循的原则是使训练尽可能规模化的同时并且尽可能减少人工标注。团队探索了如何采用多种自动方法以获取高质量、可靠、有创造力的指令和偏好数据,其中包括针对数学的的方法减少对齐税。不久后,通义千问团队将推出`Qwen2`的技术报告。
2024-09-11