直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

Lora简单介绍

回答

Lora 全称 Low-Rank Adaptation Models,即低阶自适应模型,其作用在于影响和微调画面,能够再现人物或物品的特征。大模型的训练通常复杂且对电脑配置要求高,而 LoRA 采用在原模型中插入新的数据处理层的方式,避免了修改原有模型参数。LORA 模型训练是用特定特征替换大模型中的对应元素,从而生成不同于底模的图片,比如固定的人物相貌、特定的服装或者特定的风格。Lora 训练较为轻量化,所需显存较少,硬件门槛显存达到 6G 即可开启训练。

同时,模型微调方面,提供了 LoRA 微调和全量参数微调代码,关于 LoRA 的详细介绍可参考论文“LoRA:Low-Rank Adaptation of Large Language Models”以及微软 Github 仓库LoRA

此外,还有利用新版 SDXL 生成的如针线娃娃这样的 lora,它可以把一些常见形象制作成毛线编制的样子,需要使用 SDXL1.0 的模型,触发词是 BJ_Sewing_doll。

内容由 AI 大模型生成,请仔细甄别(powered by aily)

参考资料

【Lora炼丹术】从零开始,炼制你的第一个LoRA(1)

从接触SD到现在,相信大家一定使用过各种各样的lora,包括人物的、建筑的、画风的等等,那么你有没有想过炼制一款属于自己的lora模型呢。我们先来了解一下炼丹的基础概念,它的关键原理就是——等价交换法则!不好意思,说错了。重新来,Lora全称Low-Rank Adaptation Models,中文翻译为低阶自适应模型。它的作用在于影响和微调画面。通过lora的帮助,可以再现人物或物品的特征。大模型的训练通常是非常复杂且需要很高的电脑配置的,LoRA采用的方式就是在原有的模型中插入新的数据处理层,这样就避免了修改原有模型的参数。LORA模型训练,其实就是用一些特定特征来替换大模型中的对应元素,比如一个固定的人物相貌、特定的服装或者是特定的风格,这样就可以生成不同于底模的图片。所以,lora训练是比较轻量化的,需要的显存也少了很多,硬件门槛显存达到6G就可以开启训练了。我们今天要使用的是B站UP主“朱尼酱”的赛博丹炉,他的这款丹炉,界面更加友好、美观,适合新手入门。废话不多说,我们就正式开始吧。

【SD】萌到出血,SDXL针线娃娃模型

可爱就是正义,今天给大家介绍一个利用新版SDXL生成的lora——针线娃娃。它可以把一些常见的形象制作成毛线编制的样子。这个lora需要使用SDXL1.0的模型才可以运行,触发词是BJ_Sewing_doll。做了一些小动物的图片,很治愈的感觉,一起来看看吧。当然不仅仅是动物,很多小场景也很有爱。有个小彩蛋在里面,看谁能发现,嘿嘿~~想体验这款lora的话,可以添加我的公众号【白马与少年】,回复【SDXL】即可。-END-白马与少年Stable Diffusion、Blender等学习心得分享139篇原创内容(持续更新中)公众号微信扫一扫关注该公众号

模型微调

同时提供了LoRA微调和全量参数微调代码,关于LoRA的详细介绍可以参考论文“[LoRA:Low-Rank Adaptation of Large Language Models](https://arxiv.org/abs/2106.09685)”以及微软Github仓库[LoRA](https://github.com/microsoft/LoRA)。

其他人在问
AI 增量训练 Lora
以下是关于 AI 增量训练 Lora 的相关知识: 参数理解: 1. 学习步数:指 AI 对每张图片的学习次数。二次元图片的 repeat 一般在 10 15,写实人物图片的 repeat 一般在 30 50,真实世界的景观场景可能要达到 100。理论上讲,图片精细度越高,学习步数越高。 2. 循环次数:AI 将所有图片按照学习步数学习一轮为一次循环,循环次数一般在 10 20 之间。次数并非越多越好,过多会导致过拟合,即画什么都和样图一样。 3. 效率设置:主要控制电脑的训练速度。可保持默认值,也可根据电脑显存微调,但要避免显存过载。 总的训练步数为:图片张数×学习步数×循环次数。 此外,沃尔夫勒姆提到人工智能是基于机器学习(通常通过神经网络实现),根据给出的示例进行增量训练,且这些示例包括大量人类生成的科学文本等,或者关于世界上发生的事情的实际经验。
2024-09-13
Lora训练
以下是关于用 SD 训练一套贴纸 LoRA 模型的方法: 1. 打 tag(给图片写关键词):这是 SD 中的一个重要步骤。 2. LoRA 训练器:可用于训练。 3. SD 训练 UIWeb 启动成功:滚动至最下点击【LoRA 训练】,或者直接点击左侧菜单【LoRA 训练】。 4. 最后总结下 LoRA 模型训练的要点: 训练数据集准备:包括训练素材处理、图像预处理、打标优化。 训练环境参数配置:选择本地或云端训练环境,进行训练环境配置和训练参数配置。 模型训练:基于 kohyass 训练模型。 模型测试:通过 XYZ plot 测试模型。 5. 工作流: 原始形象:MJ 初步产出符合设计想法的贴纸原始形象。 二次加工:完成贴纸的白色边线等细节加工。 处理素材:给训练集图片打 tag,修改 tag。 训练模型:将上述处理好的数据集做成训练集,进行训练。
2024-09-06
LoRA (low rank adapter) 有哪些应用
LoRA(LowRank Adaptation Models,低阶自适应模型)具有以下应用: 1. 在图像生成方面,如 Stable Diffusion 中,通过影响和微调画面,再现人物或物品的特征。可以用特定特征替换大模型中的对应元素,生成不同于底模的图片。 2. 在语言模型中,如 Alpaca 对 LLaMA6B 的微调,在主路参数固定的基础上,在旁路加一个低秩的 shortcut,训练阶段主路固定,只训练旁路,极大降低参数量。初始化时 B 矩阵为 0,达到 zeroconvolution 的效果,推理时把旁路折叠到主路。 3. 个人可以通过 LoRA 炼制属于自己的模型,例如在 SD 中炼制人物、建筑、画风等方面的 lora 模型。LoRA 训练较为轻量化,硬件门槛显存达到 6G 即可开启训练。
2024-09-05
lora有哪些应用
LoRa(Sora)具有以下应用: 1. 增强视觉领域的可访问性:将文本描述转换为视觉内容,使包括视觉障碍者在内的所有人都能参与内容创作和互动,为每个人提供通过视频表达想法的机会,创造更具包容性的环境。 2. 营销领域:营销人员可利用其创建针对特定受众描述的动态广告。 3. 游戏开发:游戏开发者能借助它从玩家叙述中生成定制化的视觉效果甚至角色动作。 4. 电影制作:为电影制作提供创新的视觉生成方式。 5. 教育领域:在教育中发挥作用,例如生成特定的教学视频内容。 6. 自动化内容生成:加速内容生成的自动化进程。 7. 复杂决策支持:为复杂决策过程提供帮助和支持。
2024-09-05
Flux 的lora模型训练教程,我想用用diffuser代码训练,而不是webui或comfyui
以下是关于 Flux 的 lora 模型训练的相关信息: Flux GGUF 模型:https://huggingface.co/city96/FLUX.1devgguf/tree/main GGUF 配套节点插件:https://github.com/city96/ComfyUIGGUF 在最新版本的 ComfyUI 中,GGUF 的节点插件可在 Manager 管理器中搜到下载安装,但 NF4 的配套节点插件搜不到。 注意使用精度优化的低配模型时,工作流和原版不同。把官方的 fp8 工作流中底模的节点换成 NF4 或者 GUFF 即可。 相关生态发展迅速,有 Lora、Controlnet、IPadpter 相关生态建设,字节最近发布的 Flux Hyper lora 可用于 8 步快速生图。下节将先讲讲 Flux 的 lora 训练。
2024-09-05
Flux 的lora模型训练教程
以下是 Flux 的 Lora 模型训练教程: 首先,您需要下载相关模型,如 t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors、flux1dev.safetensors。 Flux GGUF 模型可从以下链接获取:https://huggingface.co/city96/FLUX.1devgguf/tree/main ,同时还有 GGUF 配套节点插件及 GGUF 节点包:https://github.com/city96/ComfyUIGGUF 。在最新版本的 ComfyUI 中,GGUF 的节点插件可在 Manager 管理器中搜到下载安装,但 NF4 的配套节点插件则搜不到。 如果您的显卡是 16G 的,右键 16G 那个 train_flux_16GLora 的文件;如果您的显卡是 24G 或更高的,右键 24G 那个 train_flux_24GLora 的文件。(DB 全参微调对硬件要求更高,内存 32G 不行)即使是 train_flux_24GLora 的方式,也建议内存尽量高于 32G 以避免意外。 右键用代码编辑器方式打开文件(图中右边红框的两种任意一种均可,没有可以下载一下)。开头的绿色部分不用动,理论上只改红色部分:底模路径、VAE 路径、数据集路径,还有下面的 clip 路径和 T5xxl 路径。如果相关模型在一个文件夹里,路径填写会更简单;如果不在,要准确找到并复制 flux1dev 底模的文件路径,注意检查双引号的使用,避免多双引号、漏双引号或路径错误。训练集的路径要注意是到 train 截止。在 SD3 训练相关参数那里,还有部分路径需要设置。
2024-09-05
请推荐几个简单好用的AI视频剪辑网站
以下为您推荐一些简单好用的 AI 视频剪辑网站: 1. Opusclip:可利用长视频剪成短视频,网址:未提及。 2. Raskai:能将短视频素材直接翻译至多语种,网址:未提及。 3. InvideoAI:输入想法可自动生成脚本和分镜描述,进而生成视频,人工二编后合成长视频,网址:未提及。 4. Descript:通过屏幕/播客录制,以 PPT 方式做视频,网址:未提及。 5. Veed.io:具有自动翻译自动字幕功能,网址:未提及。 6. Clipchamp:微软的 AI 版剪映,网址:未提及。 7. Typeframes:类似 InvideoAI,内容呈现文本主体比重更多,网址:未提及。 8. Google vids:网址:未提及。 9. Runway:网址为 https://runwayml.com ,有网页有 app 方便。 10. Haiper:网址为 https://app.haiper.ai/ ,免费。 11. SVD:网址为 https://stablevideo.com/ ,有免费额度,对于景观更好用。 12. Pika:网址为 https://pika.art/ ,收费,https://discord.gg/pika ,可控性强,可以对嘴型,可配音。 13. PixVerse:网址为 https://pixverse.ai/ ,免费,人少不怎么排队,还有换脸功能。 14. Dreamina:网址为 https://dreamina.jianying.com/ ,剪映旗下,生成 3 秒,动作幅度有很大升级。 15. Morph Studio:网址为 https://app.morphstudio.com/ ,还在内测。 16. Heygen:网址为 https://www.heygen.com/ ,数字人/对口型。 17. Kaiber:网址为 https://kaiber.ai/ 。 18. Moonvalley:网址为 https://moonvalley.ai/ 。 19. Mootion:网址为 https://discord.gg/AapmuVJqxx ,3d 人物动作转视频。 20. 美图旗下:网址为 https://www.miraclevision.com/ 。 21. Neverends:网址为 https://neverends.life/create ,2 次免费体验,操作傻瓜。 22. SD:Animatediff SVD deforum ,免费,自己部署。 23. Leiapix:网址为 https://www.leiapix.com/ ,免费,可以把一张照片转动态。 24. Krea:网址为 https://www.krea.ai/ ,12 月 13 日免费公测了。 25. Luma:30 次免费,网址:未提及。 26. Kling:网址为 kling.kuaishou.com 。
2024-09-13
神经网络的简单理解
神经网络是一种模仿生物神经网络结构和功能的数学模型或计算模型,用于分析图像、视频、音频和文本等复杂数据类型。 对于不同类型的数据有专门优化的神经网络,如分析图像时常用卷积神经网络,其模仿人脑处理视觉信息的方式。 在 2017 年推出 Transformer 之前,理解文本常用循环神经网络。而 Transformer 完全基于自注意力机制处理序列数据,比 RNN 更适合处理文本的长距离依赖性,在处理每个词时会注意输入序列里所有其他的词,并给予不同的注意力权重以捕获依赖关系和相关性,且具有自注意力机制和位置编码(因语言顺序很重要)。 神经网络由大量人工神经元联结进行计算,大多数情况下能在外界信息基础上改变内部结构,是一种自适应系统,具备学习功能。它是一种非线性统计性数据建模工具,通常通过基于数学统计学类型的学习方法得以优化,也是数学统计学方法的实际应用,能通过统计学方法让人 工神经网络具有类似人的简单决定和判断能力,这种方法比正式的逻辑学推理演算更具优势。 神经网络可用于监督学习、无监督学习、强化学习。
2024-09-06
AI能够取代人类的什么工作场景,请简单举个实际的例子
AI 能够在一些工作场景中取代人类,例如: 在一些重复性高、规律性强的工作中,如数据录入、文件整理等,AI 可以更高效地完成任务。 某些简单的客服工作,AI 能够根据预设的回答模式处理常见问题。 不过,AI 无法完全取代需要人际交往、团队领导和复杂决策制定的角色。像云架构师、网络架构师和企业架构师等职位,不仅需要技术知识,更需要与人沟通、管理利益相关者和领导团队的能力。此外,企业领导者在利用 AI 提高工作效率的同时,仍需将更多精力投入到创新和战略规划上。 同时,知名投资机构 Nfx 在他们最新的《The AI Workforce is Here:The Rise of a New Labor Market》中提到,Sam Altman 经常提到 AGI 到来的定义之一就是 AI 能替代百分之七十的人类工作。现在 AI 正在强制逆转 SaaS 这个缩写的含义,从“软件即服务”转变为“服务即软件”,软件既能组织任务,也能执行任务,无需雇佣额外劳动力,传统的劳动力市场最终将和软件融合成为一个新市场。
2024-09-04
如何做一个简单的智能体
要做一个简单的智能体,可以按照以下步骤进行: 1. 起一个智能体的名称。 2. 写一段智能体的简单介绍。 3. 使用 AI 创建一个头像。 在编排方面: 插件:插件就像一个工具箱,里面可以放一个或者好几个工具,被称为 API。扣子平台上有很多不同类型的插件,如看新闻、规划旅行、提高办公效率、理解图片内容的 API,还有能处理多种任务的模型。如果现有的插件不符合需求,还可以自己动手制作插件并加入所需的 API。 工作流:工作流就像可视化的拼图游戏,可将插件、大语言模型、代码块等功能组合在一起,创建复杂但稳定的业务流程。工作流由多个小块块(节点)组成,开始和结束都有特殊的小块块,不同小块块可能需要不同信息才能工作,这些信息包括引用前面小块块给出的信息和自己设定的信息。 知识库:扣子的知识库功能强大,可上传和存储外部知识内容,并提供多种查找方法。如果大模型存在幻觉或某些专业领域知识不足,知识库能解决问题,让回复更准确。 开场白:为了提升体验,可以添加一段开场白,向用户说明智能体的作用。 例如在“竖起耳朵听”这个智能体中,添加了新闻搜索插件、使用了 5 个小块块来回答带有图片口语的结果、运用了自己的知识库收集地道口语表达的短句,并设置了开场白。
2024-09-02
怎么让大模型回答的简单一点,限制字数
要让大模型回答得简单一点并限制字数,可以通过以下几种方式: 1. 调整参数: Temperature:参数值越小,模型返回的结果越确定。对于需要简洁和基于事实的回答,如质量保障(QA)等任务,可设置较低的 temperature 值。 Top_p:调低参数值可获得更准确和事实的答案。一般建议改变 Temperature 和 Top_p 其中一个参数即可。 Max Length:通过调整 max length 来控制大模型生成的 token 数,有助于防止生成冗长或不相关的响应并控制成本。 2. 分治法:对于生成内容较多的情况,可采用分治法分段输出,最后自己拼合。 3. 提供清晰简洁的提示:在询问时不要惜字如金,应包含必要的关键信息,但避免过于复杂冗长,让大模型能准确理解需求,从而给出简洁的回答。
2024-08-29
对普通人,最简单入门的Ai软件有哪些
对于普通人来说,虽然底层都是大模型,但 AI 工具各有侧重且不同公司有各自的优化。关于每种工具的详细入门、讲解和应用,WayToAIG 已分好类目。为了让普通人更便捷直观地马上上手,以下几种工具可供选择: 1. 聊天工具 2. 绘画工具 3. 视频工具 4. 音乐工具 而对于普通人对 AI 最好的直观初接触,主要集中在两个方面:最低成本能直接上手试的工具是什么?自己能否试试?现在最普遍/最好的工具是什么、能达到什么效果。
2024-08-25
waytoAGI是什么,现在你要给学校老师介绍,列出相关的数据
WaytoAGI 是由一群热爱 AI 的狂热爱好者、专家共同建设的开源 AI 知识库。它诞生于 2023 年 4 月 26 日,在没有任何推广的情况下,一年时间已有超过 70 万用户和超千万次的访问量。 其知识库内容丰富,覆盖 AI 绘画、AI 视频、AI 智能体等多个版块,不仅有最新的 AI 教程、工具和一线实战案例,还有开放共享的 AI 知识体系,倡导共学共创等形式,孵化了如 AI 春晚、离谱村等大型共创项目。 WaytoAGI 不仅是一个普通的 AI 技术社区,更是一个汇聚 AI 行业顶尖创作者和 KOL 的思想交流平台,社区制作的优质作品多次登上央视首页,广受好评。社群的口号是“让更多的人因 AI 而强大”,有很多学社和共学共建的活动。您打开“waytoagi.com”就可以找到社群。
2024-09-18
介绍一下光流的概念,如何计算,以及可视化表达方法
光流是指图像中像素点的运动速度和方向。它描述了图像中物体或场景在连续帧之间的运动情况。 计算光流的方法有多种,常见的包括基于梯度的方法、基于区域匹配的方法和基于相位的方法等。基于梯度的方法通过计算图像灰度的梯度来估计光流;基于区域匹配的方法则是在相邻帧中寻找相似的区域来确定光流;基于相位的方法利用图像的相位信息来计算光流。 光流的可视化表达方法通常有以下几种: 1. 向量场表示:用箭头来表示每个像素点的运动方向和速度大小。 2. 颜色编码:通过不同的颜色来表示光流的方向和速度。 3. 流线图:将光流轨迹以流线的形式展示。
2024-09-16
科普性质的介绍下目前大模型的优秀应用案例和实施经验
以下为目前大模型的一些优秀应用案例和实施经验: 在问答行业: Baichuan 借鉴了 Meta 的 CoVe 技术,将复杂 Prompt 拆分为多个独立且可并行检索的搜索友好型查询,使大模型能够对每个子查询进行定向知识库搜索。 利用自研的 TSF(ThinkStep Further)技术来推断和挖掘用户输入背后更深层的问题,以更精准、全面地理解用户意图。 自研 BaichuanTextEmbedding 向量模型,对超过 1.5T tokens 的高质量中文数据进行预训练,并通过自研损失函数解决了对比学习方式依赖 batchsize 的问题。同时引入稀疏检索和 rerank 模型,形成向量检索与稀疏检索并行的混合检索方式,大幅提升了目标文档的召回率,达到 95%。 在医疗行业: 涵盖疾病的诊断与预测、药物研发以及个性化医疗等方向。 例如,麻省理工学院利用 AI 发现了新型广谱抗生素 Halicin。研究者先构建由两千个性能已知的分子组成的训练集,用它们训练 AI 学习分子特点,总结规律,再对美国 FDA 已通过的六万多个分子进行分析,最终成功识别出有效分子,且实验证明效果良好。 在模型架构方面: 包括 encoderonly、encoderdecoder 和 decoderonly 等类型。 如 BERT 是 encoderonly 模型的代表,google 的 T5 是 encoderdecoder 模型的代表,众多熟知的 AI 助手包括 ChatGPT 基本属于 decoderonly 架构。 大模型的特点在于预训练数据量大,往往来自互联网上的多种来源,且参数众多,如 Open 在 2020 年发布的 GPT3 就已达到 170B 的参数。
2024-09-13
如何跟不同年龄段介绍人工智能
对于不同年龄段介绍人工智能可以采用以下方式: 小学低年级: 设计思路是要用学生能理解的语言,旨在激发学生的兴趣,引起学生的好奇心。在课堂上,先和学生互动,先听听他们口中的 AI,再引出概念。比如:“大家好,今天我们要来聊聊一个非常酷的话题——人工智能,简称 AI。你们可能在电视上、电脑游戏里或者是电影中见过 AI。那么,人工智能到底是什么呢?简单地说,就是让计算机或机器能像我们人类一样思考和学习的技术。” 小学低年级: 对于 Genie 模型,可以这样介绍:“那么,Genie 模型是怎么被聪明的大人们创造出来的呢?首先,要创造出 Genie 模型,科学家们需要给它一个大脑,这个大脑就是我们常说的‘人工智能’。它就像是一个机器人的思考方式,能让机器人像人一样思考和学习。科学家们用了一种特别的方法,叫做‘机器学习’,来教会这个大脑思考。机器学习就是让计算机观察很多很多的东西,然后从中找出规律,慢慢学会自己解决问题。就像你们上学的时候,老师会给你们很多问题,让你们练习,最后你们就会做得越来越好。Genie 模型学习的方式也差不多,只不过它学习的东西是视频。科学家们给 Genie 模型看了很多网络上的视频,尽管这些视频没有特别的标签告诉 Genie 模型里面有什么,但 Genie 模型通过自己的学习,能够慢慢理解视频中发生的事情,并且记住了。Genie 模型有一个非常大的数字网络,我们可以叫它‘模型参数’。想象一下,就像是一个巨大的钢琴,每个琴键都代表一种知识。Genie 模型有大约 110 亿个这样的琴键,所以它知道的东西非常非常多。” 对于其他年龄段的介绍方式,目前提供的信息中未涉及,您可以补充更多具体需求,以便为您提供更全面准确的介绍方法。
2024-09-12
请分点介绍数据驱动建模的特点。有图片就更好了
很抱歉,目前没有关于数据驱动建模特点的图片及相关详细内容。但一般来说,数据驱动建模具有以下几个特点: 1. 基于大量数据:依赖丰富的数据来构建模型,数据量越大,模型可能越准确。 2. 自动发现模式:能够自动从数据中挖掘和发现潜在的模式和规律。 3. 适应性强:可以根据新的数据进行调整和优化,以适应不断变化的情况。 4. 客观性:结果主要由数据决定,减少了主观因素的影响。 5. 预测能力:能够对未知的数据进行预测和推断。
2024-09-10
请介绍一下当前优秀的2C的AI产品
当前优秀的 2C 的 AI 产品主要有以下几类: 1. AI 虚拟人相关产品:如 Character.ai,国内的字节“豆包”、Minimax 的“星野”等。但此类产品存在记忆混乱、AI 无法主动推动剧情、用户上头期短、疲劳度高和长期留存低等共有的缺陷。 2. AI 角色扮演赛道产品:例如“猫箱”“剧本戏”“名人朋友圈”等,它们在 LLM 基础上,在 prompt 上加了些特定角色定义。 3. AI 陪伴类产品:比如“星野”“Talkie”“BubblePal”等,这类产品在 LLM 基础上,在 prompt 上加了特定角色定义,并在长短记忆上做出处理,随着陪伴时间越久,知识库沉淀的个性化记录越丰富,AI 也会越懂用户。 4. AI 搜索工具产品:例如“秘塔”“360 搜索”等,有些会在搜索内容基础上,把内容结构化,整出图谱或者脑图。 5. AIGC 产品:例如“可灵”“ai 写作手”“即梦”“md”等,借助 AI 的生成能力做出的产品。 6. Agent 产品:目前只有头部的厂商在做,比如字节的扣子,支付宝的智能助理,百度的文心智能体,腾讯的元宝。 此外,在 2023 年,2C 端唯一真正出圈的是“妙鸭相机”,不过也只是昙花一现。
2024-09-07