直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

Lora模型训练数据集

回答

以下是关于 Lora 模型训练数据集的相关内容:

创建数据集

  1. 进入厚德云-模型训练-数据集(https://portal.houdeyun.cn/sd/dataset)。
  2. 在数据集一栏中,点击右上角创建数据集,输入数据集名称。
  3. 可以上传包含图片+标签 txt 的 zip 文件,也可以只有图片(之后可在 c 站使用自动打标功能),还可以一张一张单独上传照片,但建议提前把图片和标签打包成 zip 上传。
  4. Zip 文件里图片名称与标签文件应当匹配,例如:图片名“1.png”,对应的达标文件就叫“1.txt”。
  5. 上传 zip 以后等待一段时间,确认创建数据集。返回到上一个页面,等待一段时间后上传成功,可以点击详情检查,能预览到数据集的图片以及对应的标签。

Lora 训练

  1. 点击 Flux,基础模型会默认是 FLUX 1.0D 版本。
  2. 选择数据集,点击右侧箭头,会跳出所有上传过的数据集。
  3. 触发词可有可无,取决于数据集是否有触发词。模型效果预览提示词则随机抽取一个数据集中的标签填入即可。
  4. 训练参数这里可以调节重复次数与训练轮数,厚德云会自动计算训练步数。如果不知道如何设置,可以默认 20 重复次数和 10 轮训练轮数。
  5. 可以按需求选择是否加速,点击开始训练,会显示所需要消耗的算力。然后等待训练,会显示预览时间和进度条。训练完成会显示每一轮的预览图。鼠标悬浮到想要的轮次模型,中间会有个生图,点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。

用 SD 训练一套贴纸 LoRA 模型的工作流

  1. 原始形象:MJ 初步产出符合设计想法的贴纸原始形象。
  2. 二次加工:完成贴纸的白色边线等细节加工。
  3. 处理素材:给训练集图片打 tag,修改 tag。
  4. 训练模型:将上述处理好的数据集做成训练集,进行训练。

用 SD 训练一套贴纸 LoRA 模型的原始形象:MJ 关键词: A drawing for a rabbit stickers,in the style of hallyu,screenshot,mori kei,duckcore plush doll art exaggerated poses,cry/happy/sad/...--ar 3:4 --niji 5 --style cute --s 180 。会得到不同风格的贴图,我们可以先看看自己喜欢哪一种。出图过程可以有意识地总结这一类贴图的特征,比如都是可爱的兔子,有不同的衣服和头饰,都有一双大大的卡通眼睛,会有不同的面部表情。

注意事项

  1. 关键词中限制了颜色,因此 MJ 生成的图片会一种情绪对应一种颜色,所以同一种情绪最好多生成几张不同色系的,可以减少后续训练中模型把情绪和颜色做挂钩(如果需要这样的话,也可以反其道而行之)。
  2. 数据集中正面情绪与负面情绪最好比例差不多,如果都是正面积极的,在出一些负面情时(sad,cry)的时候,可能会出现奇怪的问题(如我们训练的是兔子形象,但 ai 认知的 sad 可能是人的形象,可能会出现人物特征)。
  3. 如果训练 256*266 大小的表情包,这样的素材就已经够用了。如果要训练更高像素的图片,则需要进一步使用 MJ 垫图和高清扩展功能。

高清化: 左(256)→右(1024),输入左图,加入内容描述,加入风格描述,挑选合适的,选出新 30 张图片(卡通二次元类型的 lora 训练集 30 张差不多,真人 60-100 张)。

内容由 AI 大模型生成,请仔细甄别(powered by aily)

参考资料

10-0基础训练大模型

在数据集一栏中,点a击右上角创建数据集输入数据集名称这个zip文件可以是包含图片+标签txt,也可以只有图片没有打标文件(之后你可以在c站使用它的自动打标功能)你也可以一张一张单独上传照片,但还是建议提前把图片和标签打包成zip上传Zip文件里图片名称与标签文件应当匹配例如:图片名"1.png",对应的达标文件就叫"1.txt"。上传zip以后等待一段时间确认创建数据集返回到上一个页面,等待一段时间后就会上传成功,可以点击详情检查可以预览到数据集的图片以及对应的标签[heading2]步骤二· Lora训练[content]点击Flux,基础模型会默认是FLUX 1.0D版本选择数据集,点击右侧箭头,会跳出你所有上传过的数据集触发词可有可无,取决于你的数据集是否有触发词模型效果预览提示词则随机抽取一个你数据集里的标签填入即可训练参数这里可以调节重复次数与训练轮数,厚德云会自动计算训练步数如果不知道如何设置,可以默认20重复次数和10轮训练轮数可以按需求选择是否加速,点击开始训练,会显示所需要消耗的算力然后就可以等待训练了,会显示预览时间和进度条训练完成的会显示出每一轮的预览图鼠标悬浮到你想要的轮次模型,中间会有个生图,点击会自动跳转到使用此lora生图的界面。点击下方的下载按钮则会自动下载到本地

如何用 SD 训练一套贴纸 LoRA 模型

原始形象:MJ初步产出符合设计想法的贴纸原始形象二次加工:完成贴纸的白色边线等细节加工处理素材:给训练集图片打tag,修改tag训练模型:将上述处理好的数据集做成训练集,进行训练

如何用 SD 训练一套贴纸 LoRA 模型

左(256)→右(1024)输入左图,加入内容描述,加入风格描述,挑选合适的选出新30张图片(卡通二次元类型的lora训练集30张差不多,真人60-100张)

其他人在问
flux lora 训练
以下是关于 Flux 的 Lora 模型训练的详细步骤: 准备工作: 下载所需模型:t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors、flux1dev.safetensors。 注意:不使用时模型放置位置不限,只要知道“路径”,后续会引用到“路径”。 训练建议使用 flux1dev.safetensors 版本的模型和 t5xxl_fp16.safetensors 版本的编码器。 下载训练脚本: 夸克网盘链接:https://pan.quark.cn/s/ddf85bb2ac59 百度网盘链接:https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq 提取码:pfsq 数据集准备: 进入厚德云模型训练数据集:https://portal.houdeyun.cn/sd/dataset 步骤一:创建数据集 在数据集一栏中,点击右上角创建数据集。 输入数据集名称。 可以上传包含图片+标签 txt 的 zip 文件,也可以上传只有图片的文件(之后可在 c 站使用自动打标功能),或者一张一张单独上传照片,但建议提前将图片和标签打包成 zip 上传。 Zip 文件里图片名称与标签文件应当匹配,例如:图片名“1.png”,对应的达标文件就叫“1.txt”。 上传 zip 以后等待一段时间,确认创建数据集,返回到上一个页面,等待一段时间后上传成功,可点击详情检查,预览数据集的图片以及对应的标签。 步骤二:Lora 训练 点击 Flux,基础模型会默认是 FLUX 1.0D 版本。 选择数据集,点击右侧箭头,会跳出所有上传过的数据集。 触发词可有可无,取决于数据集是否有触发词。 模型效果预览提示词则随机抽取一个数据集中的标签填入即可。 训练参数可以调节重复次数与训练轮数,厚德云会自动计算训练步数。如果不知道如何设置,可以默认 20 重复次数和 10 轮训练轮数。 可以按需求选择是否加速,点击开始训练,会显示所需要消耗的算力。 等待训练,会显示预览时间和进度条,训练完成会显示每一轮的预览图。 鼠标悬浮到想要的轮次模型,中间会有个生图,点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。 数据集放置位置:.Flux_train_20.4\\train\\qinglong\\train 运行训练:约 1 2 小时即可训练完成。 验证和 lora 跑图:有 ComfyUI 基础的话,直接原版工作流的模型后面,多加一个 LoraloaderModelOnly 的节点就可以,自行选择您的 Lora 和调节参数。
2024-11-20
lora是什么
Lora 全称 LowRank Adaptation Models,即低阶自适应模型。它的作用在于影响和微调画面,能够再现人物或物品的特征。大模型的训练通常复杂且对电脑配置要求高,而 LoRA 采用在原模型中插入新的数据处理层的方式,避免了修改原有模型参数。LORA 模型训练是用特定特征替换大模型中的对应元素,从而生成不同于底模的图片。Lora 训练较为轻量化,所需显存较少,硬件门槛显存达到 6G 即可开启训练。例如,有利用新版 SDXL 生成的如针线娃娃的 lora,还有如“KIDS ILLUSTRATION”这样用于生成儿童绘本风格插画的 lora 等。
2024-11-01
Lora模型训练
以下是关于 Lora 模型训练的相关内容: 一、用 SD 训练一套贴纸 LoRA 模型的要点 1. 训练数据集准备:包括训练素材处理、图像预处理、打标优化。 2. 训练环境参数配置:选择本地或云端训练环境,进行训练环境配置和训练参数配置。 3. 模型训练:基于 kohyass 训练模型。 4. 模型测试:通过 XYZ plot 测试模型。 二、郑敏轩:Flux 的 Lora 模型训练 1. 所需模型下载:t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors、flux1dev.safetensors。 注意事项: 不使用时,模型放置位置不限,只要知道路径即可。 训练时,建议使用 flux1dev.safetensors 版本的模型和 t5xxl_fp16.safetensors 版本的编码器。 2. 下载脚本: 夸克网盘链接:https://pan.quark.cn/s/ddf85bb2ac59 百度网盘链接:https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq 提取码:pfsq 三、100 基础训练大模型 1. 步骤一·创建数据集 进入厚德云模型训练数据集:https://portal.houdeyun.cn/sd/dataset 在数据集一栏中,点击右上角创建数据集,输入数据集名称。 可以上传包含图片+标签 txt 的 zip 文件,也可以只有图片(之后可在 c 站使用自动打标功能),或者一张一张单独上传照片。 Zip 文件里图片名称与标签文件应当匹配,例如:图片名"1.png",对应的达标文件就叫"1.txt"。 上传 zip 以后等待一段时间,确认创建数据集,返回到上一个页面,等待一段时间后上传成功,可点击详情检查,预览数据集的图片以及对应的标签。 2. 步骤二·Lora 训练 点击 Flux,基础模型会默认是 FLUX 1.0D 版本。 选择数据集,点击右侧箭头,选择上传过的数据集。 触发词可有可无,取决于数据集是否有触发词。 模型效果预览提示词则随机抽取一个数据集中的标签填入即可。 训练参数可调节重复次数与训练轮数,厚德云会自动计算训练步数,若不知如何设置,可默认 20 重复次数和 10 轮训练轮数。 可按需求选择是否加速,点击开始训练,会显示所需要消耗的算力,然后等待训练,会显示预览时间和进度条。 训练完成后会显示每一轮的预览图,鼠标悬浮到想要的轮次模型,中间会有个生图,点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。
2024-10-22
文生图lora微调
以下是关于文生图 lora 微调的详细内容: 定主题:明确您需要生成的图片的主题、风格和要表达的信息。 选择基础模型 Checkpoint:根据主题选择内容贴近的 checkpoint,如麦橘、墨幽的系列模型,如麦橘写实、麦橘男团、墨幽人造人等。 选择 lora:基于生成内容寻找重叠的 lora,以控制图片效果和质量,可参考广场上优秀帖子中使用的 lora。 ControlNet:可控制图片中特定图像,如人物姿态、生成特定文字或艺术化二维码等,属于高阶技能。 局部重绘:下篇再教。 设置 VAE:无脑选择 840000 即可。 Prompt 提示词:用英文写需求,使用单词和短语组合,不用管语法,单词、短语间用英文半角逗号隔开。 负向提示词 Negative Prompt:同样用英文写要避免的内容,单词和短语组合,用英文半角逗号隔开。 采样算法:一般选 DPM++ 2M Karras 较多,也可参考 checkpoint 详情页上模型作者推荐的采样器。 采样次数:选 DPM++ 2M Karras 时,采样次数通常在 30 40 之间。 尺寸:根据个人喜好和需求选择。 以下是一个简笔水彩风格插画的示例: 使用大模型“Flat 2D Animerge”,适合生成卡通动漫图片,官方建议 CFG 值在 5 或 6(使用动态阈值修复可拉到 11)。搭配两个 lora,“Chinese painting style”可增加中国画水彩风格效果,权重设为 0.4;“Crayon drawing”可添加简单线条和小孩子笔触,权重设为 0.8。将图片丢到标签器中反推关键词,发送到“文生图”。在正向提示词末尾添加这两个 lora,尺寸按参考图设置,重绘幅度开 0.5 让 AI 更自由发挥,若想更接近原图可降低数值。将图放入 ControlNet 中,选择 tile 模型,权重为 0.5,控制模式选择“更注重提示词”。
2024-10-05
使用人物Lora生成的图片中有多个人物时,怎么让人物的形象各不相同?
在 Stable Diffusion 中,若使用人物 Lora 生成的图片中有多个人物并想让人物形象各不相同,可参考以下方法: 1. 在提示词中输入数量词(如 2girls 或 3boys 等),再加上各自的描述提示词。若刷图成功率不高,可配合 openpose 控制,做一个多人骨架,以生成多人物构图。 2. 需使用不同的 Lora 来区分人物,但单纯靠提示词可能行不通。 3. 分区控制思路: Multidiffusion 的做法:启用 Tiled Diifusion,打开分区提示词控制,创建文生图画布。启用不同区域,分别填写背景、不同人物的描述词和 Lora。增加 controlnet 的 openpose 控制来稳定人物,但可能存在分区生成的人物连续性低、lora 控制不强等问题。 Latent Couple 的做法(文中未提及,需进一步探索)。 此外,关于 Lora 模型: 1. Lora 可以固定照片的特征,如人物特征、动作特征和照片风格。 2. 点击“生成”下面的第三个按钮,找到 Lora 选项,可添加下载保存到电脑的 Lora 模型,Lora 可叠加使用,但新手不建议使用太多,且 Lora 之间用英文逗号隔开,每个 Lora 后面的数字用于调整权重,一般只会降低权重。选择 Lora 应根据最初想要生成的照片类型决定。
2024-09-27
AI 增量训练 Lora
以下是关于 AI 增量训练 Lora 的相关知识: 参数理解: 1. 学习步数:指 AI 对每张图片的学习次数。二次元图片的 repeat 一般在 10 15,写实人物图片的 repeat 一般在 30 50,真实世界的景观场景可能要达到 100。理论上讲,图片精细度越高,学习步数越高。 2. 循环次数:AI 将所有图片按照学习步数学习一轮为一次循环,循环次数一般在 10 20 之间。次数并非越多越好,过多会导致过拟合,即画什么都和样图一样。 3. 效率设置:主要控制电脑的训练速度。可保持默认值,也可根据电脑显存微调,但要避免显存过载。 总的训练步数为:图片张数×学习步数×循环次数。 此外,沃尔夫勒姆提到人工智能是基于机器学习(通常通过神经网络实现),根据给出的示例进行增量训练,且这些示例包括大量人类生成的科学文本等,或者关于世界上发生的事情的实际经验。
2024-09-13
现在哪几家的大模型支持通过手机视频多模态实时交流?
以下几家的大模型支持通过手机视频多模态实时交流: 1. PandaGPT:能够理解不同模式的指令并根据指令采取行动,包括文本、图像/视频、音频、热、深度和惯性测量单位。 2. VideoLLaMA:引入了多分支跨模式 PT 框架,使语言模型能够在与人类对话的同时处理给定视频的视觉和音频内容。 3. 视频聊天 GPT:专门为视频对话设计,能够通过集成时空视觉表示来生成有关视频的讨论。 4. NExTGPT:端到端、通用的 anytoany 多模态语言模型,支持图像、视频、音频、文本的自由输入输出。
2024-11-22
siri是不是使用大模型技术
Siri 目前并非使用大模型技术。苹果公司的 Siri 概念虽好,但由于技术限制,其表现未达到人工智能的水平,常被称为“人工智障”。不过,随着技术发展,未来可能会用大模型重新改造 Siri,将手机上的所有功能控制起来,使其成为真正的智能助理。例如,苹果公司在手机算力的芯片发展到能够支撑大模型上手机的情况下,可能会推出大模型的小数据量、专业的版本来替代 Siri。同时,苹果公司若 All in 手机,其大模型可能会是本地化的,以重视个人数据保护和隐私。
2024-11-21
sairi是不是使用大模型技术
Sora 是使用大模型技术的。周鸿祎认为 Open AI 训练这个模型会阅读大量视频,大模型加上 Diffusion 技术需要对世界进一步了解,学习样本以视频和摄像头捕捉到的画面为主。Sora 在训练数据上采用在原始尺寸上进行训练的策略,避免了传统 AI 对人为抽象的依赖。此外,Sora 还采用了一些数据预处理技术,如将视觉图块压缩成低维潜在表示,并将其排列成序列,注入噪声后输入扩散变换器的输入层,同时采用时空分块化来降低后续对时间信息建模的复杂性。这种对原始视频和图像特征的细腻处理标志着生成模型领域的重大进步。
2024-11-21
模型微调怎么解决多轮对话容易受到上轮对话的影响问题
在解决模型微调中多轮对话容易受到上轮对话影响的问题时: 对于多轮对话,现实中常伴随指代问题,如使用“它”“他们”“我们”等代词。若仅依据原始提问检索知识片段,可能导致结果不精确或无法检索到信息。同时,对模型回复内容的限制可能影响多轮对话流畅性甚至中断。 为提升对话系统性能和用户体验,需开发提示词解决多轮对话中的指代消解问题,确保模型能在连续交流中提供准确连贯回答。但由于“指代消解”需多轮对话完成,单次交互无法达成,所以要转换测试形式,先解决“指代消解”问题再进行下一轮答复。 首先准备指代消解所需提示词,这里使用的“指代消解”提示词是用 CoT 写出的思维链,列举不同推理情景,让模型适应并推理出需消解的代词,再根据结果重新组织问题。 接着复现指代消解步骤,如进行第一轮对话,提出问题“尼罗河是什么?”,系统召回相关知识片段并回复,然后开始指代消解。 另外,聊天模型通过一串聊天对话输入并返回生成消息输出。聊天格式虽为多轮对话设计,但对单轮任务也有用。会话通过 messages 参数输入,包含不同角色和内容的消息对象数组。通常会话先有系统消息设定助手行为,再交替使用用户和助手消息。当指令涉及之前消息时,包含聊天历史记录有帮助,若超出模型限制需缩减会话。
2024-11-21
企业做自己的小模型,需要用到的工具及工具背后的公司都有哪些?
企业做自己的小模型,可能会用到以下工具及背后的公司: 1. 在编排(Orchestration)方面,涉及的公司如 DUST、FIAVIE、LangChain 等,其提供的工具可帮助管理和协调各部分及任务,确保系统流畅运行。 2. 部署、可扩展性和预训练(Deployment, Scalability, & PreTraining)类别中,像 UWA mosaicm、NMAREL、anyscale 等公司提供的工具,有助于部署模型、保证可扩展性及进行预训练。 3. 处理上下文和嵌入(Context & Embeddings)的工具,相关公司有 TRUDO、Llamalndex、BerriAI 等,能帮助模型处理和理解语言上下文,并将词语和句子转化为计算机可理解的形式。 4. 质量保证和可观察性(QA & Observability)方面,例如 Pinecone、drant、Vald 等公司提供的工具,可确保模型表现并监控其性能和状态。 此外,还有以下工具和相关公司: 1. 图片生成 3D 建模工具,如 Tripo AI(由 VAST 发布)、Meshy、CSM AI(Common Sense Machines)、Sudo AI、VoxCraft(由生数科技推出)等。 企业还可能涉及具身智能、3D 眼镜、AI 绘本、AI 图书、学习机、飞书的多维表格、蚂蚁的智能体、Coze 的智能体、Zeabur 等云平台、0 编码平台、大模型(通义、智谱、kimi、deepseek 等)、编程辅助、文生图(可灵、即梦等)等方面,可能需要相应资质。
2024-11-20
你认为目前最好用的大模型有哪些?
目前最好用的大模型包括: 1. OpenAI 的 GPT4:是最先进和广泛使用的大型语言模型之一,在多种任务上表现卓越,如文本生成、理解、翻译及各种专业和创意写作任务,能通过大量数据学习理解和生成人类语言,处理复杂问题和理解上下文能力出色。 2. Anthropic 公司的 Claude 3。 3. 谷歌的 Gemini。 4. 百度的文心一言。 5. 阿里巴巴的通义大模型。 大型模型主要分为两类: 1. 大型语言模型:专注于处理和生成文本信息。 2. 大型多模态模型:能够处理包括文本、图片、音频等多种类型的信息。 大型多模态模型与大型语言模型的不同点: 1. 处理的信息类型不同:大型语言模型专注于文本,大型多模态模型能处理多种类型信息。 2. 应用场景不同:大型语言模型主要用于自然语言处理任务,大型多模态模型应用领域更广泛。 3. 数据需求不同:大型语言模型依赖大量文本数据训练,大型多模态模型需要多种类型数据训练。 此外,如果想了解国内的大模型效果,可以参考第三方基准评测报告: 。需注意,内容由 AI 大模型生成,请仔细甄别。
2024-11-19
如何训练Agent?
在人工智能领域中,训练 Agent 主要有以下方法和特点: 1. 基于迁移学习和元学习的 Agent 训练: 传统强化学习中,Agent 训练消耗大量样本和时间,泛化能力不足。为突破此瓶颈,引入迁移学习,促进不同任务间知识和经验迁移,减轻新任务学习负担,提升学习效率和性能,增强泛化能力。 元学习让 Agent 学会从少量样本中迅速掌握新任务最优策略,利用已有知识和策略调整学习路径,减少对大规模样本集依赖。 但迁移学习和元学习面临挑战,如迁移学习在源任务与目标任务差异大时可能无效甚至负面迁移,元学习需大量预训练和样本构建学习能力,使通用高效学习策略开发复杂艰巨。 时间:21 世纪初至今 特点:迁移学习将一个任务知识迁移到其他任务;元学习学习如何学习,快速适应新任务 技术:迁移学习如领域自适应;元学习如 MAML、MetaLearner LSTM 优点:提高学习效率,适应新任务 缺点:对源任务和目标任务相似性有要求 2. 基于强化学习的 Agent 训练: 强化学习关注如何让 Agent 通过与环境互动自我学习,在特定任务中累积最大长期奖励。起初主要依托策略搜索和价值函数优化等算法,如 Qlearning 和 SARSA。 随着深度学习兴起,深度神经网络与强化学习结合形成深度强化学习,赋予 Agent 从高维输入学习复杂策略的能力,有 AlphaGo 和 DQN 等成果。 深度强化学习允许 Agent 在未知环境自主探索学习,无需人工指导,在游戏、机器人控制等领域有应用潜力。 但面临诸多挑战,包括训练周期长、采样效率低、稳定性问题,在复杂真实环境应用困难。 时间:20 世纪 90 年代至今 特点:通过试错学习最优行为策略,以最大化累积奖励 技术:Qlearning、SARSA、深度强化学习(结合 DNN 和 RL) 优点:能够处理高维状态空间和连续动作空间 缺点:样本效率低,训练时间长
2024-11-21
作为ai初学者,想训练自己的个性ai,应该怎么入手
对于 AI 初学者想要训练自己的个性 AI ,可以从以下几个方面入手: 1. 了解 AI 基本概念: 阅读「」部分,熟悉 AI 的术语和基础概念,包括人工智能的定义、主要分支(如机器学习、深度学习、自然语言处理等)以及它们之间的联系。 浏览入门文章,了解 AI 的历史、当前的应用和未来的发展趋势。 2. 开始 AI 学习之旅: 在「」中,找到为初学者设计的课程,如李宏毅老师的课程。 通过在线教育平台(如 Coursera、edX、Udacity)上的课程,按照自己的节奏学习,并争取获得证书。 3. 选择感兴趣的模块深入学习: AI 领域广泛,包括图像、音乐、视频等,根据自己的兴趣选择特定的模块进行深入学习。 掌握提示词的技巧,因其上手容易且实用。 4. 实践和尝试: 理论学习后,实践是巩固知识的关键,尝试使用各种产品做出自己的作品。 在知识库中分享实践后的作品和文章。 5. 体验 AI 产品: 与现有的 AI 产品如 ChatGPT、Kimi Chat、智谱、文心一言等聊天机器人进行互动,了解它们的工作原理和交互方式,获得对 AI 在实际应用中表现的第一手体验,激发对 AI 潜力的认识。 此外,更注重人格属性,试图满足社交、情感、陪伴等需求,您也可以对其进行了解和参考。同时,为了在医疗保健中让 AI 产生真正的改变,应投资于创建像我们今天最优秀的医生和药物开发者那样学习的模型生态系统,例如通过学校教育和经验积累,培养在复杂情况下确定最佳答案的直觉。
2024-11-20
如何将历史写过的文章发给 Ai,训练生成写作风格
要将历史写过的文章发给 AI 以训练生成写作风格,可以参考以下步骤: 1. 首先,像安迪的做法一样,把过去写的多篇相关文章发给 AI。 2. 让 AI 总结这些文章的写作特点。 3. 根据 AI 总结的特点,编写出描述写作风格的提示词,从而克隆出自己的写作风格。 4. 未来使用这个风格时,先花 3 分钟时间让 AI 分别写多篇内容。 5. 从多篇内容中找到最符合心意的作品,并从其他作品中寻找好的段落。 6. 最后进行整合、修改、删减和润色,少则几分钟、十几分钟,多则半个小时就能完成一篇文章。 同时,就像夙愿提到的,找选题对于写作很重要。我们可以通过学习其他优秀公众号的文章,分析其选题思路、文章结构、表达方式等,不断训练自己的“写作模型”,但要注意不能照搬,而是要形成自己独特的风格。 另外,在写作过程中,“主体性”的介入也很关键。比如在使用 Prompt 生成公众号文章时,要先思考自己对写作的理解以及对特定主题写作风格的认知,这样写出来的 Prompt 才会有个人特色。日常也要注重基本功的积累,因为在表达“意象”时非常考验语言能力。
2024-11-18
如何用ai模型做训练
以下是关于如何用 AI 模型做训练的相关内容: 要在医疗保健领域让 AI 产生真正的改变,应投资创建像优秀医生和药物开发者那样学习的模型生态系统。成为顶尖人才通常从多年密集信息输入和学徒实践开始,AI 也应如此。当前的学习方式存在问题,应通过堆叠模型训练,如先训练生物学、化学模型,再添加特定数据点。就像预医学生从基础课程学起,设计新疗法的科学家经历多年学习和指导,这种方式能培养处理细微差别决策的直觉。 大模型的构建过程包括: 1. 收集海量数据:如同教孩子博学多才要让其阅读大量资料,对于 AI 模型要收集互联网上的各种文本数据。 2. 预处理数据:像为孩子整理适合的资料,AI 研究人员要清理和组织收集的数据,如删除垃圾信息、纠正拼写错误等。 3. 设计模型架构:为孩子设计学习计划,研究人员要设计 AI 模型的“大脑”结构,通常是复杂的神经网络,如 Transformer 架构。 4. 训练模型:像孩子开始学习,AI 模型开始“阅读”数据,通过反复预测句子中的下一个词等方式逐渐学会理解和生成人类语言。 为提高 AI 模型的鲁棒性,应对可能的“恶意”样本数据导致的幻觉,可使用对抗训练技术,让模型在训练中接触并学会识别和抵抗。
2024-11-13
怎么训练自己的小说大纲模型
训练自己的小说大纲模型可以参考以下步骤: 步骤一:创建数据集 1. 进入厚德云模型训练数据集,网址为:https://portal.houdeyun.cn/sd/dataset 。 2. 在数据集一栏中,点击右上角创建数据集。 3. 输入数据集名称。 4. 可以上传包含图片+标签的 zip 文件,也可以只有图片没有打标文件(之后可在 c 站使用自动打标功能)。 5. 也可以一张一张单独上传照片,但建议提前把图片和标签打包成 zip 上传。 6. Zip 文件里图片名称与标签文件应当匹配,例如:图片名“1.png”,对应的达标文件就叫“1.txt”。 7. 上传 zip 以后等待一段时间。 8. 确认创建数据集,返回到上一个页面,等待一段时间后上传成功,可以点击详情检查,可预览到数据集的图片以及对应的标签。 步骤二:Lora 训练 1. 点击 Flux,基础模型会默认是 FLUX 1.0D 版本。 2. 选择数据集,点击右侧箭头,会跳出所有上传过的数据集。 3. 触发词可有可无,取决于数据集是否有触发词。 4. 模型效果预览提示词则随机抽取一个数据集中的标签填入即可。 5. 训练参数这里可以调节重复次数与训练轮数,厚德云会自动计算训练步数。如果不知道如何设置,可以默认 20 重复次数和 10 轮训练轮数。 6. 可以按需求选择是否加速,点击开始训练,会显示所需要消耗的算力。 7. 然后等待训练,会显示预览时间和进度条。训练完成的会显示出每一轮的预览图。 8. 鼠标悬浮到想要的轮次模型,中间会有个生图,点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。 步骤三:Lora 生图 1. 点击预览模型中间的生图会自动跳转到这个页面。 2. 模型上的数字代表模型强度,可以调节大小,正常默认为 0.8,建议在 0.6 1.0 之间调节。 3. 也可以自己添加 lora 文件,点击后会显示训练过的所有 lora 的所有轮次。 4. VAE 不需要替换。 5. 正向提示词输入写的提示词,可以选择基于这个提示词一次性生成几张图。 6. 选择生成图片的尺寸,横板、竖版、正方形。 7. 采样器和调度器新手小白可以默认不换。 8. 迭代步数可以按照需求在 20 30 之间调整。 9. CFG 可以按照需求在 3.5 7.5 之间调整。 10. 随机种子 1 代表随机生成图。 11. 所有设置都好了以后,点击开始生态,生成的图会显示在右侧。 12. 如果有哪次生成结果觉得很不错,想要微调或者高分辨率修复,可以点开那张图,往下滑,划到随机种子,复制下来,粘贴到随机种子这里,这样下次生成的图就会和这次的结果近似。 13. 如果确认了一张很合适的种子和参数,想要高清放大,则点开高清修复,可以选择想放大的倍数。新手小白可以就默认这个算法,迭代步数也是建议在 20 30 之间,重回幅度根据需求调整,正常来说在 0.3 0.7 之间调整。 今日作业 按照比赛要求,收集六个主题中一个主题的素材并且训练出 lora 模型后提交 lora 模型与案例图像。提交链接:https://waytoagi.feishu.cn/share/base/form/shrcnpJAtTjID7cIcNsWB79XMEd 。 另外,直接在 Comfy UI 中训练 LoRA 模型的步骤如下: 1. 确保后面有一个空格。然后将 requirements_win.txt 文件拖到命令提示符中(如果在 Windows 上;否则,选择另一个文件 requirements.txt)。拖动文件将在命令提示符中复制其路径。 2. 按 Enter 键,这将安装所有所需的依赖项,使其与 ComfyUI 兼容。请注意,如果为 Comfy 使用了虚拟环境,必须首先激活它。 3. 教程: 图像必须放在一个以命名的文件夹中。那个数字很重要:LoRA 脚本使用它来创建一些步骤(称为优化步骤…但别问我是什么^^’)。它应该很小,比如 5。然后,下划线是必须的。 对于 data_path,必须写入包含数据库文件夹的文件夹路径。例如:C:\\database\\5_myimages ,必须写 C:\\database 。 对于参数,在第一行,可以从 checkpoint 文件夹中选择任何模型。据说必须选择一个基本模型进行 LoRA 训练。但也可以尝试使用微调。
2024-11-12
如何画热力图,帮助我们分析数据相关系数
以下是关于如何画热力图来分析数据相关系数的步骤: 1. 完成前面的 MMM 运行步骤。 2. 进行关联性分析,可绘制热力图(颜色可自行调整)。 3. 计算相关性,注意在真实场景中,若出现负相关性,需考虑是否缩减投入或进行其他决策。 4. 模型流程主要在前几步,后面的可视化和其他分析自由度较高。 您可以在 Colab 上的部署地址(https://colab.research.google.com/drive/1vzMbUuGsaFHlnl9CKFXgxXn8aqWaw60I?usp=sharing)直接进行测试,并欢迎提出新的优化意见。
2024-11-22
如何将知识库里的文件进行分类清晰数据,使其变得更加智能化
以下是关于如何将知识库里的文件进行分类清晰数据,使其变得更加智能化的方法: 1. 在线知识库 点击创建知识库,创建一个画小二课程的 FAQ 知识库。 飞书在线文档中每个问题和答案以分割,可点击编辑修改和删除。 点击添加 Bot,并在调试区测试效果。 2. 本地文档 注意拆分内容,提高训练数据准确度,将海报的内容训练到知识库里面。 对于画小二这个课程,80 节课程分为 11 个章节,不能一股脑全部放进去训练。 首先将 11 章的大的章节名称内容放进来,章节内详细内容依次按固定方式进行人工标注和处理。 然后选择创建知识库自定义清洗数据。 3. 发布应用 点击发布,确保在 Bot 商店中能够搜到。 4. 飞书知识库 在飞书里面选择对应的文件夹,一次最多智能选择 20 个文件(若文件大于 20 个可多建几个知识库)。 可以选择自动进行数据清洗,数据清洗是把数据进行类结构化整理,内容中的图片资料也会保留。 测试对话,基本反馈正常,目前 coze 存在不稳定版本,需要不断调试完善。 5. Excel 知识库 可以增加其他形式的知识库。 上传表格的知识库不要过于复杂,不要有合并表格情况,同时系统不认不同的 Sheet。 数据处理完成会显示 100%进度,加工出来的数据,点击添加 Bot,就增加到知识库中,然后测试发布和返回。 6. 网页知识库 有自动采集和手动采集两种方式,手动采集需要安装插件,操作稍微有点小复杂。 选择批量添加,写入画小二官网的地址,可根据需求添加自己的网站。 将网站所有的页面都扫描出来,点击确认,将全站数据解析并保存到知识库里面,按照默认自动清洗数据。 7. 创建知识库并上传文本内容 本地文档:在文本格式页签下,选择本地文档,然后单击下一步。将要上传的文档拖拽到上传区,或单击上传区域选择要上传的文档。目前支持上传.txt、.pdf、.docx 格式的文件内容,每个文件不得大于 20M,一次最多可上传 10 个文件。当上传完成后单击下一步。选择内容分段方式,包括自动分段与清洗(系统会对上传的文件数据进行自动分段,并会按照系统默认的预处理规则处理数据)和自定义(手动设置分段规则和预处理规则,包括分段标识符、分段最大长度、文本预处理规则,如替换掉连续的空格、换行符和制表符,删除所有 URL 和电子邮箱地址)。单击下一步完成内容上传和分片。
2024-11-21
帮我生成一个个人的职业目标为数据分析师,职业规划为想要找到一个计算机行业类的公司,我的优势是社交方面和处理数据方面很强,我的2弱势是不太可以创新
以下是为您生成的以数据分析师为职业目标,且希望在计算机行业公司工作的职业规划建议: 首先,鉴于您在社交和处理数据方面的优势,您可以积极利用这两点。在社交方面,主动参与行业相关的社交活动、线上论坛或社群,扩大人脉资源,这有助于您获取更多的行业信息和潜在的工作机会。在处理数据方面,不断提升自己的专业技能,例如学习更高级的数据处理工具和技术,以提高工作效率和质量。 对于您在创新方面的弱势,建议您多关注行业内的创新案例和趋势,通过学习和模仿来逐渐培养创新思维。可以参加一些创新思维的培训课程或者阅读相关的书籍。 在求职过程中,有针对性地投递计算机行业中对数据分析师有需求的公司。准备一份精心制作的简历,突出您在社交和数据处理方面的优势,并诚实地提及您在创新方面的不足以及您为改进所做的努力。 进入公司后,持续学习和提升自己,与团队成员保持良好的沟通和合作,不断积累项目经验,逐步提升自己在数据分析领域的专业能力和影响力。
2024-11-20
数据中心运维服务的智能体构建
以下是关于数据中心运维服务智能体构建的相关内容: 一泽 Eze:Coze+飞书多维表格,打造专属 AI 智能体,享受 10 倍知识管理效率 逐步搭建 AI 智能体: 1. 创建 Bot。 2. 填写 Bot 介绍。 3. 切换模型为“通义千问”(测试下来,通义对提示词理解、执行效果最好)。 4. 把配置好的工作流(如整理入库、选择内容)添加到 Bot 中。 5. 新增变量{{app_token}}。 6. 添加外层 bot 提示词(可按需求和实际效果优化调整)。完成上述步骤后,能在「预览与调试」窗口与 AI 稍后读智能体对话并使用全部功能。 智能体在品牌卖点提炼中的应用 搭建一个智能体帮助提炼卖点: 1. 确定智能体的结构:按照市场营销的逻辑组织智能体的结构。 2. 搭建完整智能体: 以品牌卖点提炼六步法为核心的流程,包括探索、排列、抽取、收敛、确认、应用流程。 加入其他分析助手,如品牌卖点定义与分类助手、STP 市场分析助手、用户画像分析助手、触点收集助手等。 还包括一些在后续品牌卖点应用过程中有效的分析工具,如用户需求分析的 KANO 助手、营销六层转化漏斗分析、超级转化率六要素等。
2024-11-19
ai爬数据
以下是为您提供的关于 AI 相关的一些信息: 网页抓取方面:过去两周出现了许多 AI 驱动的网页信息自动抓取工具。当前用 Gen AI 做网页抓取并非主流技术方案,但具有能更好地理解分析非结构化数据、实现更精准抓取等优势。比较受欢迎的 AI 网页抓取小工具包括:Hexomatic(https://hexomatic.com/)、WebscrapeAI(https://webscrapeai.com/)、Kadoa(https://www.kadoa.com/)。 聊天机器人方面:6 月访问量的排名情况为,ChatGLM 智谱清言排名 16,访问量 364 万,相对 5 月变化 0.11;MyShell 排名 17,访问量 338 万,变化 0.003;讯飞星火排名 18,访问量 272 万,变化 0.018;ciciai 排名 19,访问量 252 万,变化 0.14;DeepSeek 排名 20,访问量 205.4 万,变化 0.249。 Prompts 方面:4 月访问量的排名情况为,Lexica 排名 1,访问量 349 万,相对 3 月变化 0.039;Promptchan 排名 2,访问量 279 万,变化 0.203;prompthero 排名 3,访问量 130 万,变化 0.312;提示工程指南排名 4,访问量 81.5 万,变化 0.291;LetsView Chat 排名 5,访问量 66 万,变化 0.087;AIPRM 排名 6,访问量 58 万,变化 0.521;PromptBase 排名 7,访问量 54 万,变化 0.119;ChatGPT Cheat Sheet & Quick Reference 排名 8,访问量 45.8 万,变化 0.048;Prompt Hunt 排名 9,访问量 42 万,变化 0.055;Learn Prompting 排名 10,访问量 36.1 万,变化 0.284。
2024-11-19
优秀的数据集网站
以下为一些优秀的数据集网站及相关数据集介绍: 文本分类: ,更新日期为 43040,暂时不能下载,已经联系作者,等待反馈。 ,更新日期 43160。 ,更新日期 43160。 ,更新日期 43160。 ,更新日期 43160。 QA: ,更新日期 43721,由微软研究院提供。 ,更新日期未知,由斯坦福提供。 ,更新日期未知,由 Facebook 提供。 文本匹配: ,更新日期 43412,来源为寻药寻医网和国防科技大学信息系统及管理学院。 ,更新日期 42999,由唐善成、白云悦、马付玉及西安科技大学提供。
2024-11-15