直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

怎么训练自己的小说大纲模型

回答

训练自己的小说大纲模型可以参考以下步骤:

步骤一:创建数据集

  1. 进入厚德云-模型训练-数据集,网址为:https://portal.houdeyun.cn/sd/dataset 。
  2. 在数据集一栏中,点击右上角创建数据集。
  3. 输入数据集名称。
  4. 可以上传包含图片+标签的 zip 文件,也可以只有图片没有打标文件(之后可在 c 站使用自动打标功能)。
  5. 也可以一张一张单独上传照片,但建议提前把图片和标签打包成 zip 上传。
  6. Zip 文件里图片名称与标签文件应当匹配,例如:图片名“1.png”,对应的达标文件就叫“1.txt”。
  7. 上传 zip 以后等待一段时间。
  8. 确认创建数据集,返回到上一个页面,等待一段时间后上传成功,可以点击详情检查,可预览到数据集的图片以及对应的标签。

步骤二:Lora 训练

  1. 点击 Flux,基础模型会默认是 FLUX 1.0D 版本。
  2. 选择数据集,点击右侧箭头,会跳出所有上传过的数据集。
  3. 触发词可有可无,取决于数据集是否有触发词。
  4. 模型效果预览提示词则随机抽取一个数据集中的标签填入即可。
  5. 训练参数这里可以调节重复次数与训练轮数,厚德云会自动计算训练步数。如果不知道如何设置,可以默认 20 重复次数和 10 轮训练轮数。
  6. 可以按需求选择是否加速,点击开始训练,会显示所需要消耗的算力。
  7. 然后等待训练,会显示预览时间和进度条。训练完成的会显示出每一轮的预览图。
  8. 鼠标悬浮到想要的轮次模型,中间会有个生图,点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。

步骤三:Lora 生图

  1. 点击预览模型中间的生图会自动跳转到这个页面。
  2. 模型上的数字代表模型强度,可以调节大小,正常默认为 0.8,建议在 0.6 - 1.0 之间调节。
  3. 也可以自己添加 lora 文件,点击后会显示训练过的所有 lora 的所有轮次。
  4. VAE 不需要替换。
  5. 正向提示词输入写的提示词,可以选择基于这个提示词一次性生成几张图。
  6. 选择生成图片的尺寸,横板、竖版、正方形。
  7. 采样器和调度器新手小白可以默认不换。
  8. 迭代步数可以按照需求在 20 - 30 之间调整。
  9. CFG 可以按照需求在 3.5 - 7.5 之间调整。
  10. 随机种子 - 1 代表随机生成图。
  11. 所有设置都好了以后,点击开始生态,生成的图会显示在右侧。
  12. 如果有哪次生成结果觉得很不错,想要微调或者高分辨率修复,可以点开那张图,往下滑,划到随机种子,复制下来,粘贴到随机种子这里,这样下次生成的图就会和这次的结果近似。
  13. 如果确认了一张很合适的种子和参数,想要高清放大,则点开高清修复,可以选择想放大的倍数。新手小白可以就默认这个算法,迭代步数也是建议在 20 - 30 之间,重回幅度根据需求调整,正常来说在 0.3 - 0.7 之间调整。

今日作业 按照比赛要求,收集六个主题中一个主题的素材并且训练出 lora 模型后提交 lora 模型与案例图像。提交链接:https://waytoagi.feishu.cn/share/base/form/shrcnpJAtTjID7cIcNsWB79XMEd 。

另外,直接在 Comfy UI 中训练 LoRA 模型的步骤如下:

  1. 确保后面有一个空格。然后将 requirements_win.txt 文件拖到命令提示符中(如果在 Windows 上;否则,选择另一个文件 requirements.txt)。拖动文件将在命令提示符中复制其路径。
  2. 按 Enter 键,这将安装所有所需的依赖项,使其与 ComfyUI 兼容。请注意,如果为 Comfy 使用了虚拟环境,必须首先激活它。
  3. 教程:
    • 图像必须放在一个以[number]_[whatever]命名的文件夹中。那个数字很重要:LoRA 脚本使用它来创建一些步骤(称为优化步骤…但别问我是什么^^’)。它应该很小,比如 5。然后,下划线是必须的。
    • 对于 data_path,必须写入包含数据库文件夹的文件夹路径。例如:C:\database\5_myimages ,必须写 C:\database 。
    • 对于参数,在第一行,可以从 checkpoint 文件夹中选择任何模型。据说必须选择一个基本模型进行 LoRA 训练。但也可以尝试使用微调。
内容由 AI 大模型生成,请仔细甄别(powered by aily)

参考资料

10-0基础训练大模型

进入厚德云-模型训练-数据集https://portal.houdeyun.cn/sd/dataset[heading2]步骤一·创建数据集[content]在数据集一栏中,点a击右上角创建数据集输入数据集名称这个zip文件可以是包含图片+标签txt,也可以只有图片没有打标文件(之后你可以在c站使用它的自动打标功能)你也可以一张一张单独上传照片,但还是建议提前把图片和标签打包成zip上传Zip文件里图片名称与标签文件应当匹配例如:图片名"1.png",对应的达标文件就叫"1.txt"。上传zip以后等待一段时间确认创建数据集返回到上一个页面,等待一段时间后就会上传成功,可以点击详情检查可以预览到数据集的图片以及对应的标签[heading2]步骤二· Lora训练[content]点击Flux,基础模型会默认是FLUX 1.0D版本选择数据集,点击右侧箭头,会跳出你所有上传过的数据集触发词可有可无,取决于你的数据集是否有触发词模型效果预览提示词则随机抽取一个你数据集里的标签填入即可训练参数这里可以调节重复次数与训练轮数,厚德云会自动计算训练步数如果不知道如何设置,可以默认20重复次数和10轮训练轮数可以按需求选择是否加速,点击开始训练,会显示所需要消耗的算力然后就可以等待训练了,会显示预览时间和进度条训练完成的会显示出每一轮的预览图鼠标悬浮到你想要的轮次模型,中间会有个生图,点击会自动跳转到使用此lora生图的界面。点击下方的下载按钮则会自动下载到本地

10-0基础训练大模型

上图中,点击预览模型中间的生图会自动跳转到这个页面模型上的数字代表模型强度,可以调节大小,正常默认为0.8,建议在0.6-1.0之间调节当然,你也可以自己添加lora文件点击后会显示你训练过的所有lora的所有轮次VAE不需要替换正向提示词输入你写的提示词可以选择基于这个提示词一次性生成几张图选择生成图片的尺寸,横板、竖版、正方形采样器和调度器新手小白可以默认这个不换迭代步数可以按照需求在20-30之间调整CFG可以按照需求在3.5-7.5之间调整随机种子-1代表随机生成图所有设置都好了以后,点击开始生态,生成的图会显示在右侧如果有哪次生成结果你觉得很不错,想要微调或者高分辨率修复,可以点开那张图往下滑,划到随机种子,复制下来粘贴到i机种子这里,这样下次生成的图就会和这次的结果近似如果确认了一张很合适的种子和参数,想要搞清放大则点开高清修复,可以选择你想放大的倍数新手小白可以就默认这个算法迭代步数也是建议在20-30之间重回幅度根据需求调整,正常来说在0.3-0.7之间调整[heading1]今日作业[content]按照比赛要求,收集六个主题中一个主题的素材并且训练出lora模型后提交lora模型与案例图像提交链接:https://waytoagi.feishu.cn/share/base/form/shrcnpJAtTjID7cIcNsWB79XMEd

直接在Comfy UI中训练LoRA模型

确保后面有一个空格。然后将requirements_win.txt文件拖到命令提示符中(如果你在Windows上;否则,我假设你应该选择另一个文件requirements.txt)。拖动文件将在命令提示符中复制其路径。按Enter键,这将安装所有所需的依赖项,使其与ComfyUI兼容。请注意,如果你为Comfy使用了虚拟环境,必须首先激活它。教程在使用自定义节点之前,有一些要注意的事项:你的图像必须放在一个以[number]_[whatever]命名的文件夹中。那个数字很重要:LoRA脚本使用它来创建一些步骤(称为优化步骤…但别问我是什么^^’)。它应该很小,比如5。然后,下划线是必须的。其余部分不重--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------p/对于data_path,你必须写入包含数据库文件夹的文件夹路径。因此,在这种情况下:C:\database\5_myimages你必须写C:\database至于终极问题:“斜杠还是反斜杠?”…不用担心!Python在这里需要斜杠,但节点会自动将所有反斜杠转换为斜杠。文件夹名称中的空格也不是问题。参数在第一行,你可以从checkpoint文件夹中选择任何模型。然而,据说你必须选择一个基本模型进行LoRA训练。这是为什么我不得而知。但你完全可以尝试使用微调,没有任何阻碍。但如果你想遵循规则,请确保在checkpoint文件夹中有一个基本模型!

其他人在问
AI 辅助课程大纲编写与优化
利用 AI 辅助课程大纲编写与优化可以按照以下步骤进行: 1. 确定课程大纲主题:明确研究兴趣和目标,选择具有研究价值和创新性的主题。 2. 收集背景资料:使用 AI 工具如学术搜索引擎和文献管理软件来搜集相关研究文献和资料。 3. 分析和总结信息:利用 AI 文本分析工具来分析收集到的资料,提取关键信息和主要观点。 4. 生成大纲:使用 AI 写作助手生成课程大纲,包括引言、文献综述、方法论、结果和讨论等部分。 5. 撰写文献综述:利用 AI 工具来帮助撰写文献综述部分,确保内容的准确性和完整性。 6. 构建方法论:根据研究需求,利用 AI 建议的方法和技术来设计研究方法。 7. 数据分析:如果课程大纲涉及数据收集和分析,可以使用 AI 数据分析工具来处理和解释数据。 8. 撰写和编辑:利用 AI 写作工具来撰写课程大纲的各个部分,并进行语法和风格的检查。 9. 生成参考文献:使用 AI 文献管理工具来生成正确的参考文献格式。 10. 审阅和修改:利用 AI 审阅工具来检查课程大纲的逻辑性和一致性,并根据反馈进行修改。 11. 提交前的检查:最后,使用 AI 抄袭检测工具来确保课程大纲的原创性,并进行最后的格式调整。 需要注意的是,AI 工具可以作为辅助,但不能完全替代研究者的专业判断和创造性思维。在使用 AI 进行课程大纲编写与优化时,应保持批判性思维,并确保研究的质量和学术诚信。 此外,还可以参考以下思路: 调整结构:在大纲开头增加一个“快速选择指南”,帮助读者快速定位最适合自己的方法。 补充新信息、新观点:增加一个章节,比较不同 AI 模型在相关工作场景中的优劣。 对于教师,还可以借助 AI 作为教学助理来规划课程。AI 教学助理应先向老师介绍自己,询问教学科目以及面向的学生层次(高中、大学还是职业教育),以便更精准地提供建议。若老师有教学大纲,应认真研读并根据需求提出修改建议;若没有大纲,让老师尽可能详细描述课程内容。
2024-10-29
你是一名课程开发专家,现在要以“AI技术在课程设计中的应用“为题展开培训,课程对象是企业内部培训师,时长1天。 课程要解决以下问题: 1.用AI工具做需求数据统计 2.用AI工具设计课程题目 3.用AI工具设计课程大纲。4.用AI工具制作PPT5.用AI工具画配图。 要求如下: 1.需要到三级大纲。 2、结构完整。 格式如下: 一、(一级大纲) 1、(二级大纲) 1.1(三级大纲)
一、AI 技术在课程设计中的应用 1、AI 工具与需求数据统计 1.1 Chat Excel 处理数据 1.2 让 AI 辅助编写苹果系统右键“快速操作”实现一键视频压缩、加速 1.5x 1.3 让 AI 辅助编写苹果“自动操作”实现批量统计学生作业字数 2、AI 工具与课程题目设计 3、AI 工具与课程大纲设计 4、AI 工具与 PPT 制作 5、AI 工具与配图绘制 二、生成式人工智能在教学中的应用 1、生成式人工智能的基本原理 1.1 文生文 1.2 文生图 1.3 文生音频 1.4 文生视频 2、生成式人工智能的最少必要知识 2.1 生成式 AI 原理 2.2 能力范围 2.3 性能参数 3、人工智能的学习方式 3.1 监督学习 3.2 无监督学习 3.3 强化学习 4、生成式人工智能的应用案例 4.1 根据消费者购买行为偏好分组 4.2 手机相册里的人脸识别分类 4.3 根据房屋特征面积预测价格 4.4 垃圾短信检测分类 4.5 汽车自动驾驶或路径规划导航 4.6 高级游戏人机对弈 5、AI 与教育的关系 5.1 AI 辅助教师的一天 5.2 各大模型之间的使用差异 5.3 教师使用 AI 小技巧
2024-10-28
你是一名课程开发专家,现在要以“AI技术在课程设计中的应用“为题展开培训,课程对象是企业内部培训师,时长1天。 课程要解决以下问题: 1.用AI工具做需求数据统计 2.用AI工具设计课程题目 3.用AI工具设计课程大纲。4.用AI工具制作PPT5.用AI工具画配图。 要求如下: 需要到三级大纲。 2、结构完整。 格式如下: 一级大纲) 二级大纲) (三级大纲)
以下是以“AI 技术在课程设计中的应用”为题,为企业内部培训师设计的一天培训课程大纲: 一级大纲) AI 技术在课程设计中的应用概述 二级大纲) AI 技术的基本概念与分类 三级大纲) 监督学习 三级大纲) 无监督学习 三级大纲) 强化学习 三级大纲) 生成式 AI 二级大纲) AI 技术的应用领域与案例 三级大纲) 根据消费者购买行为偏好分组 三级大纲) 手机相册里的人脸识别分类 三级大纲) 根据房屋特征面积预测价格 三级大纲) 垃圾短信检测分类 三级大纲) 汽车自动驾驶或路径规划导航 三级大纲) 高级游戏人机对弈 一级大纲) AI 工具在课程设计中的具体应用 二级大纲) 用 AI 工具做需求数据统计 三级大纲) Chat Excel 处理 Excel 数据 三级大纲) 让 AI 辅助编写苹果系统右键“快速操作”实现一键视频压缩、加速 1.5x 三级大纲) 让 AI 辅助编写苹果“自动操作”实现批量统计学生作业字数 二级大纲) 用 AI 工具设计课程题目 三级大纲) 基于数据分析生成题目 三级大纲) 利用自然语言处理优化题目表述 二级大纲) 用 AI 工具设计课程大纲 三级大纲) 依据需求分析生成大纲框架 三级大纲) 完善大纲细节与逻辑 二级大纲) 用 AI 工具制作 PPT 三级大纲) 内容排版与布局设计 三级大纲) 图表与图片的生成与插入 二级大纲) 用 AI 工具画配图 三级大纲) 选择合适的 AI 绘画工具 三级大纲) 明确配图需求与风格 一级大纲) 相关法规与注意事项 二级大纲) 国家互联网信息办公室等七部门的相关规定 三级大纲) 《生成式人工智能服务管理暂行办法》的解读 一级大纲) 总结与交流 二级大纲) 课程设计实践经验分享 二级大纲) 问题答疑与交流互动
2024-10-28
你是一名课程开发专家,现在要以“AI技术在课程设计中的应用“为题展开培训,课程对象是企业内部培训师,时长1天。 课程要解决以下问题: 1.用AI工具做需求数据统计 2.用AI工具设计课程题目 3.用AI工具设计课程大纲。4.用AI工具制作PPT5.用AI工具画配图。 要求如下: 需要到三级大纲。 2、结构完整。 格式如下: 一级大纲) 二级大纲) (三级大纲)
一级大纲) AI 技术在课程设计中的应用 二级大纲) 用 AI 工具做需求数据统计 利用 Chat Excel 处理 Excel 数据,如批量统计学生作业字数 二级大纲) 用 AI 工具设计课程题目 无 二级大纲) 用 AI 工具设计课程大纲 无 二级大纲) 用 AI 工具制作 PPT 无 二级大纲) 用 AI 工具画配图 无 二级大纲) 生成式人工智能的相关知识 生成式人工智能的基本原理、能力范围、性能参数 二级大纲) 人工智能的学习方式 监督学习、无监督学习、强化学习 二级大纲) AI 的应用场景 根据消费者购买行为偏好分组、手机相册里的人脸识别分类、根据房屋特征面积预测价格、垃圾短信检测分类、汽车自动驾驶或路径规划导航、高级游戏人机对弈
2024-10-28
我计划编写一本关于生成式人工智能的书籍,但是在开始前,我需要确定一个合适的大纲框架来组织我的思路。这个框架应该包括那些部分,以及如何将各个部分连接起来,以便读者能够理解掌握AIGC的概念和应用
以下是为您编写关于生成式人工智能书籍提供的大纲框架建议: 一、引言 介绍编写本书的目的和背景,引导读者进入生成式人工智能的世界。 二、基础概念 1. 什么是生成式人工智能(AIGC) 定义和特点 与传统人工智能的区别 2. 相关技术名词 AI(人工智能) 机器学习(包括监督学习、无监督学习、强化学习) 深度学习(神经网络、神经元) 生成式 AI(可生成文本、图片、音频、视频等内容形式) LLM(大语言模型) 三、AIGC 的应用领域 1. 文字生成(如使用大型语言模型生成文章、故事、对话等) 2. 图像生成(如使用 Stable Diffusion、DALLE 等模型生成艺术作品、照片等) 3. 视频生成(如使用 Runway、KLING 等模型生成动画、短视频等) 四、AIGC 与其他内容生成方式的关系 1. AIGC 与 UGC(用户生成内容) 区别与联系 各自的优势和适用场景 2. AIGC 与 PGC(专业生成内容) 区别与联系 相互的影响和融合 五、技术原理 1. Transformer 模型 自注意力机制 处理序列数据的优势 2. 技术里程碑(如谷歌团队发表的《Attention is All You Need》论文) 六、实际案例分析 展示不同领域中成功的 AIGC 应用案例,分析其实现过程和效果。 七、挑战与展望 1. 面临的挑战(如数据隐私、伦理问题等) 2. 未来发展趋势和前景 八、结论 总结全书重点内容,对 AIGC 的未来发展进行展望。 各个部分之间可以通过逻辑递进、案例引用、对比分析等方式进行连接,使读者能够逐步深入理解掌握 AIGC 的概念和应用。
2024-10-23
请问哪个AI可以投入英语六级大纲词汇呢
目前市面上有一些 AI 工具可以辅助您学习英语六级大纲词汇,例如豆包。您可以通过输入相关指令,让其为您提供词汇的释义、例句、记忆方法等内容。但不同的 AI 工具在功能和效果上可能会有所差异,您可以根据自己的需求和使用体验进行选择。
2024-10-16
如何用ai模型做训练
以下是关于如何用 AI 模型做训练的相关内容: 要在医疗保健领域让 AI 产生真正的改变,应投资创建像优秀医生和药物开发者那样学习的模型生态系统。成为顶尖人才通常从多年密集信息输入和学徒实践开始,AI 也应如此。当前的学习方式存在问题,应通过堆叠模型训练,如先训练生物学、化学模型,再添加特定数据点。就像预医学生从基础课程学起,设计新疗法的科学家经历多年学习和指导,这种方式能培养处理细微差别决策的直觉。 大模型的构建过程包括: 1. 收集海量数据:如同教孩子博学多才要让其阅读大量资料,对于 AI 模型要收集互联网上的各种文本数据。 2. 预处理数据:像为孩子整理适合的资料,AI 研究人员要清理和组织收集的数据,如删除垃圾信息、纠正拼写错误等。 3. 设计模型架构:为孩子设计学习计划,研究人员要设计 AI 模型的“大脑”结构,通常是复杂的神经网络,如 Transformer 架构。 4. 训练模型:像孩子开始学习,AI 模型开始“阅读”数据,通过反复预测句子中的下一个词等方式逐渐学会理解和生成人类语言。 为提高 AI 模型的鲁棒性,应对可能的“恶意”样本数据导致的幻觉,可使用对抗训练技术,让模型在训练中接触并学会识别和抵抗。
2024-11-13
大模型排名
以下是关于大模型排名的相关信息: 斯坦福发布了大模型排行榜 AlpacaEval,这是一种基于 LLM 的全自动评估基准,更加快速、廉价和可靠。项目链接:https://github.com/tatsulab/alpaca_eval ,排行榜链接:https://tatsulab.github.io/alpaca_eval/ 。 该排行榜分为以 GPT4 和 Claude 为元标注器的两个子榜单。 在 GPT4 评估榜单中,GPT4 稳居第一,胜率超过 95%;Claude 和 ChatGPT 胜率都在 80%以上,分别排名第二和第三,Claude 以不到 3%的优势超越 ChatGPT。 开源模型中,WizardLM 以仅 130 亿的参数版本排名第一,击败了 650 亿参数量的 Guanaco;Vicuna 发挥稳定,胜率超过 70%排在第六,紧追 Guanaco 65B;Falcon Instruct 40B 表现不佳,仅位居 12 名,略高于 Alpaca Farm 7B。 AlpacaEval 团队已开源所有模型评估代码和分析数据,以及支持未来新模型榜单更新的测试工具,但它仍不是一个全面的模型能力评测系统,存在指令比较简单、评分可能更偏向风格而非事实、没有衡量模型可能造成的危害等局限性。 中国国内的大模型排名可能在短时间内会有变化,作为 AI 机器人无法提供最新的信息。要获取最新的中国国内大模型排名,您可以查阅相关的科技新闻网站、学术论坛或关注人工智能领域的社交媒体平台,在会定期更新相关的排名报告,可以供您查阅。但请注意,内容由 AI 大模型生成,请仔细甄别。
2024-11-13
图生文模型
以下是关于图生文模型的相关信息: Kolors 是一款强大的开源文生图模型,具有更强的中文文本编码器、机造的高质量文本描述、人标的高质量图片、强大的中文渲染能力,以及巧妙的 noise schedule 解决高分辨率图加噪不彻底的问题。实测效果很不错,展现了快手的技术实力。 Tripo AI 中,文生 3D 模型是用一段文字生成 3D 模型,在「Create」界面底部输入框输入提示词(不支持中文),不会写提示词可点击输入框左侧的</>按钮随机生成并自动填入。填写好提示词后点击右侧「Create」生成 3D 模型,每次生成 4 个基础模型,不满意可点击「Retry」重新生成。有满意的模型点击单个模型下方黄色的「Refine」精修,精修进度在「My Models」中查看,一般 5 分钟左右完成。图生 3D 模型是用一张图片生成 3D 模型,点击输入框右侧的图标上传图片即可生成,一次生成一个基础模型,同样支持重生成和精修。 Tusiart 文生图操作流程包括:定主题,确定生成图片的主题、风格和信息;选择基础模型 Checkpoint,找内容贴近的模型;选择 lora,寻找内容重叠的 lora 控制图片效果及质量;ControlNet 用于控制图片中特定图像;设置 VAE 无脑选择 840000;Prompt 提示词用英文写需求,单词和短语用英文半角逗号隔开;负向提示词 Negative Prompt 用英文写避免产生的内容,单词和短语组合并用英文半角逗号隔开;采样算法一般选 DPM++ 2M Karras,也可参考模型作者推荐的采样器;采样次数根据采样器特征,选 DPM++ 2M Karras 时一般在 30 40 之间;尺寸根据个人喜好和需求选择。
2024-11-13
大小模型协同有哪些设计,具体应用有哪些呢?
大小模型协同的设计主要包括以下方面: 1. 大型模型方面: 大型语言模型:专注于处理和生成文本信息,通过分析大量的文本数据来理解和生成自然语言。 大型多模态模型:能够处理包括文本、图片、音频等多种类型的信息,在更多样化的任务中应用。 2. 小型模型方面:通常是被设计来完成特定任务的。 其具体应用包括: 1. 人机协同模式: 模式一:以人为主导,大模型提供建议(copilot 阶段),如同副驾驶,开车时提供建议,决定权在人手中。 模式二:人和大模型协同工作,合作完成同一个工作(embedding 阶段),在实际工作场景中,一些小环节由大模型完成,提高效率。 模式三:人指挥大模型工作(数字员工阶段),但此阶段目前少见,大模型还不能完全独立完成具体工作,可能是工程或大模型能力欠缺导致。 当下努力方向应是从简单使用大模型得到建议,转变为让大模型深度融入工作流,形成有高价值的一套 agent。数字员工阶段尚不成熟,可由其他大厂和学界先多尝试。
2024-11-13
大小模型协同有哪些数据
大小模型协同的数据来源广泛且多样,主要包括以下方面: 大模型方面: 预训练数据非常大,往往来自于互联网,涵盖论文、代码以及可爬取的公开网页等,通常采用 TB 级别的数据进行预训练。 像 GPT3 这样的大模型参数众多。 例如 Gemini 模型,其预训练数据集使用来自网络文档、书籍、代码的数据,并包括图像、音频和视频数据。 小模型方面: 针对特定任务进行训练,数据主要由与任务相关的内容组成,如专门识别猫或狗的模型,其训练数据主要是猫猫狗狗的照片。 大模型具有更广泛的应用范围和更多的通识知识,能处理多种不同任务;小模型在特定任务上表现出色。但大模型的知识来源于有限的训练数据,并非无限,且知识库不会自动更新,在某些特定或专业领域的知识可能不够全面。
2024-11-13
大模型排名以及排名的评测标准维度是什么
以下是一些常见的大模型排名及评测标准维度: FlagEval(天秤)大模型评测体系及开放平台: 地址: 简介:旨在建立科学、公正、开放的评测基准、方法、工具集,协助研究人员全方位评估基础模型及训练算法的性能,同时探索利用 AI 方法实现对主观评测的辅助,大幅提升评测的效率和客观性。创新构建了“能力任务指标”三维评测框架,细粒度刻画基础模型的认知能力边界,可视化呈现评测结果。 CEval: 地址: 简介:构造了一个覆盖人文,社科,理工,其他专业四个大方向,52 个学科(微积分,线代…),从中学到大学研究生以及职业考试,一共 13948 道题目的中文知识和推理型测试集。此外还给出了当前主流中文 LLM 的评测结果。 SuperCLUElyb: 地址: 简介:中文通用大模型匿名对战评价基准,这是一个中文通用大模型对战评价基准,它以众包的方式提供匿名、随机的对战。他们发布了初步的结果和基于 Elo 评级系统的排行榜。 斯坦福发布的大模型排行榜 AlpacaEval: 项目链接:https://github.com/tatsulab/alpaca_eval 排行榜链接:https://tatsulab.github.io/alpaca_eval/ 该研究团队选择了目前在开源社区很火的开源模型,还有 GPT4、PaLM 2 等众多「闭源」模型,甚至还开设了一个「准中文」排行榜。 AlpacaEval 分为以 GPT4 和 Claude 为元标注器的两个子榜单。 在斯坦福的这个 GPT4 评估榜单中: GPT4 稳居第一,胜率超过了 95%;胜率都在 80%以上的 Claude 和 ChatGPT 分别排名第二和第三,其中 Claude 以不到 3%的优势超越 ChatGPT。 值得关注的是,获得第四名的是一位排位赛新人——微软华人团队发布的 WizardLM。在所有开源模型中,WizardLM 以仅 130 亿的参数版本排名第一,击败了 650 亿参数量的 Guanaco。 而在开源模型中的佼佼者 Vicuna 发挥依然稳定,凭借着超过 70%的胜率排在第六,胜率紧追 Guanaco 65B。 最近大火的 Falcon Instruct 40B 表现不佳,仅位居 12 名,略高于 Alpaca Farm 7B。 AlpacaEval 的技术细节: 人类一致性:标注者与交叉标注集中人类多数票之间的一致性。 价格:每 1000 个标注的平均价格。 时间:计算 1000 个标注所需的平均时间。相对于人工标注,全自动化的 AlpacaEval 仅需花费约 1/22 的经济成本和 1/25 的时间成本。 AlpacaEval 评估模型的方式: alpaca_eval:直接根据目标模型输出的响应来评估模型。 alpaca_eval evaluate_from_model:根据 HuggingFace 已注册模型或这 API 提供商来端到端评测模型。 评测过程分为以下 3 步: 1. 选择一个评估集,并计算指定为 model_outputs 的输出。默认情况下,使用来自 AlpacaEval 的 805 个示例。 2. 计算 golden 输出 reference_outputs。默认情况下,在 AlpacaEval 上使用 textdavinci003 的输出。 3. 通过 annotators_config 选择指定的自动标注器,它将根据 model_outputs 和 reference_outputs 计算胜率。这里建议使用 alpaca_eval_gpt4 或 claude。根据不同的标注器,使用者还需要在环境配置中设定 API_KEY。
2024-11-12
怎么训练自己的模型
训练自己的模型可以参考以下内容: 基于百川大模型: 选择 Baichuan27BChat 模型作为底模,配置模型本地路径和提示模板。 在 Train 页面里,选择 sft 训练方式,加载定义好的数据集(如 wechat 和 self_cognition)。 注意学习率和训练轮次的设置,要根据数据集大小和收敛情况来调整。 使用 FlashAttention2 可减少显存需求,加速训练速度。 显存小的情况下,可以减少 batch size 并开启量化训练,内置的 QLora 训练方式好用。 需要用到 xformers 的依赖。 显存占用约 20G 左右,训练时间根据聊天记录规模大小而定,少则几小时,多则几天。 训练自己的 AI 绘画模型(Stable Diffusion): 样本采样器(sample_sampler):可选择,默认是“ddim”。 保存模型格式(save_model_as):可选择,SD WebUI 兼容"ckpt"和"safetensors"格式模型。 训练流程主要包括: 训练集制作:数据质量评估、标签梳理、数据清洗、标注、标签清洗、增强等。 训练文件配置:预训练模型选择、训练环境配置、训练步数及其他超参数设置等。 模型训练:运行训练脚本,使用 TensorBoard 监控。 模型测试:用于效果评估与消融实验。 训练资源: Rocky 整理优化过的 SD 完整训练资源 SDTrain 项目,可通过关注公众号 WeThinkIn,后台回复“SDTrain”获取。
2024-11-12
AI训练师是什么职业
AI 训练师是一种新兴职业,其职责和工作内容因具体领域和应用场景而有所不同。 例如,在 AI 教育培训和商业应用方面,像星动 AI 联合创始人李先森所从事的工作,可能包括对学员进行 AI 相关知识和技能的培训,以及参与 AI 项目的测评和指导等。 在 AI 设计领域,AI 训练师可能需要负责 AI 风格的开发和调试工作,参与项目的整体风格和审美定义。根据产品需求完成风格渲染的研发、测试、配置和维护,熟练使用 StableDiffusion Web UI 等 AI 框架进行风格研发,负责 AI 模型(如 LoRA,Prompt/Prompt Sentence)的训练、参数调整以及性能优化,编写高质量的渲染记录文档,进行配置和模型训练质量控制,并为团队提供技术支持和指导,解决技术难题。 总之,AI 训练师需要具备相关的专业知识和技能,以帮助 AI 系统更好地学习和优化,从而实现各种应用目标。
2024-11-11
多轮对话训练中你如何训练模型掌握情感需求
在多轮对话训练中,让模型掌握情感需求可以通过以下几种方式: 1. 利用相关数据集进行训练,例如: Guanaco:地址为,是一个使用 SelfInstruct 的主要包含中日英德的多语言指令微调数据集。 chatgptcorpus:地址为,开源了由 ChatGPT3.5 生成的 300 万自问自答数据,包括多个领域,可用于训练大模型。 SmileConv:地址为,数据集通过 ChatGPT 改写真实的心理互助 QA 为多轮的心理健康支持多轮对话,含有 56k 个多轮对话,其对话主题、词汇和篇章语义更加丰富多样,更符合长程多轮对话的应用场景。 2. 在创建提示时采用结构化模式,为模型提供一些情感需求的示例,如: |输入|输出| ||| |一部制作精良且有趣的电影|积极的| |10 分钟后我睡着了|消极的| |电影还行|中性的| 然后单击页面右侧的提交按钮。该模型现在可为输入文本提供情绪。还可以保存新设计的提示。 3. 在多轮次对话中,定期总结关键信息,重申对话的目标和指令,有助于模型刷新记忆,确保准确把握对话的进展和要点。 4. 进行意图识别和分类,特别关注在单一模型或情境中处理多个小逻辑分支的情况。例如在客户服务场景中,快速确定用户提出咨询、投诉、建议等多种类型请求的意图,并分类到相应处理流程中。
2024-11-11
在车载语音多轮对话训练中你如何训练模型掌握情感需求
目前知识库中暂时没有关于在车载语音多轮对话训练中如何训练模型掌握情感需求的相关内容。但一般来说,要训练模型掌握情感需求,可以从以下几个方面考虑: 1. 数据收集:收集包含丰富情感表达的车载语音对话数据,包括不同情感状态下的语音样本和对应的文本描述。 2. 特征提取:从语音和文本数据中提取能够反映情感的特征,如语音的语调、语速、音量,文本中的词汇、句式、语义等。 3. 模型选择:选择适合处理情感分析任务的模型架构,如基于深度学习的循环神经网络(RNN)、长短时记忆网络(LSTM)或门控循环单元(GRU)等。 4. 情感标注:对收集的数据进行准确的情感标注,以便模型学习不同情感的模式。 5. 多模态融合:结合语音和文本等多模态信息,提高情感识别的准确性。 6. 优化算法:采用合适的优化算法来训练模型,调整模型的参数,以提高模型的性能。 7. 模型评估:使用合适的评估指标来评估模型在情感需求掌握方面的性能,并根据评估结果进行调整和改进。
2024-11-11
摘要总结作为 llm 训练的下游任务,一般的训练流程是怎样的
作为 LLM 训练的下游任务,一般的训练流程如下: 1. 首先从大量文本数据中训练出一个基础 LLM。 2. 随后使用指令和良好尝试的输入和输出来对基础 LLM 进行微调和优化。 3. 接着通常使用称为“人类反馈强化学习”的技术进行进一步细化,以使系统更能够有帮助且能够遵循指令。 在训练过程中,会涉及到一些相关的理论探讨和评价指标: 理论探讨方面,如在推理阶段对 InContext Learning 能力的运行分析,将其视为隐式微调,通过前向计算生成元梯度并通过注意力机制执行梯度下降,且实验表明 LLM 中的某些注意力头能执行与任务相关的操作。 评价指标方面,entropylike 指标(如 crossentropy 指标)常用于表征模型的收敛情况和测试集的简单评估(如 Perplexity 指标),但对于复杂的下游应用,还需更多指标,如正确性(Accuracy)、信息检索任务中的 NDCG@K 指标、摘要任务中的 ROUGE 指标、文本生成任务中的 BitsperByte 指标、不确定性中的 ECE 指标、鲁棒性(包括 invariance 和 equivariance)、公平性、偏见程度和有毒性等。
2024-11-07
ai写小说,哪个软件更好,推荐三个
以下为您推荐三个用于 AI 写小说的软件: 1. Novel.ai:AI 写小说领域的头部应用,是典型的 LLM 产品。其产品功能复杂但使用模式简单,利用 LLM 的续写能力将写作改造成交互式的文本生成,渐进式生成小段,用户可自由更改或继续生成下一个小段,并基于写作业务抽象出模型风格、写作方式、故事世界、记忆等细分功能。本质上还是构造 Prompt,交互式、渐进式的 Prompt 构建会极大降低使用门槛。 2. Character.ai:大名鼎鼎的角色扮演类 AI 陪伴产品,服务游戏和二次元用户。使用简单,就是选角色对话,创建也很简单,角色的核心差异靠不同的详细描述,开放用户角色 Prompt 可见。 3. 筑梦岛:国内的同类产品,和角色聊天、捏角色是共同主题,捏角色的产品化本质是收集信息产生高质量角色 Prompt 的过程,基于聊天模式微创新了很多衍生玩法。
2024-11-07
可以帮我找一款写小说的智能体吗
以下为您推荐几款可用于写小说的智能体: 1. GPT:可以通过设定角色、情节等引导其生成小说内容。 2. 诗歌相机(Poetry Camera):让摄影机去“所见”,让人工智能去“所感”,用技术手段实现文学中难以量化的表达。 3. 在人机协作小说创作中,可以利用 GPT 并采用接龙创作的方式,如让作家们讨论共创,人类掌舵控制情节走向。
2024-11-05
中文短篇小说创作用的最多的ai app
目前在中文短篇小说创作方面,以下是一些常见的 AI 应用: 1. Grammarly、秘塔写作猫:属于 AI 智能写作助手,运用自然语言处理技术,可辅助检查语法、拼写错误并提供改进建议,进行智能润色和内容创作辅助。 2. 小爱同学、Siri:作为 AI 语音助手定制开发产品,采用语音识别和自然语言理解技术,能控制智能家居、回答问题等进行语音交互和任务处理。 如果您想用 AI 把小说做成视频,通常包括文本分析、角色与场景生成、视频编辑与合成等步骤。以下是一些可用的工具及网址: 1. Stable Diffusion(SD):AI 图像生成模型,可基于文本描述生成图像。网址:https://github.com/StabilityAI 2. Midjourney(MJ):适用于创建小说中的场景和角色图像。网址:https://www.midjourney.com 3. Adobe Firefly:Adobe 的 AI 创意工具,能生成图像和设计模板。网址:https://www.adobe.com/products/firefly.html 4. Pika AI:文本生成视频的 AI 工具,适合动画制作。网址:https://pika.art/waitlist 5. Clipfly:一站式 AI 视频生成和剪辑平台。网址:https://www.aihub.cn/tools/video/clipfly/ 6. VEED.IO:在线视频编辑工具,具有 AI 视频生成器功能。网址:https://www.veed.io/zhCN/tools/aivideo 7. 极虎漫剪:结合 Stable Diffusion 技术的小说推文视频创作提效工具。网址:https://tiger.easyartx.com/landing 8. 故事 AI 绘图:小说转视频的 AI 工具。网址:https://www.aihub.cn/tools/video/gushiai/
2024-11-05
写短篇小说用什么AI APP
以下是一些可用于写短篇小说的 AI APP: Novel.ai:AI 写小说领域的头部应用,是典型的 LLM 产品。其产品功能复杂但使用模式简单,利用 LLM 的续写能力将写作改造成交互式文本生成,渐进式生成小段,用户可自由更改或继续生成下一个小段,并基于写作业务抽象出模型风格、写作方式、故事世界、记忆等细分功能。本质上还是构造 Prompt,交互式、渐进式的 Prompt 构建会极大降低使用门槛。 Character.ai:大名鼎鼎的角色扮演类 AI 陪伴产品,服务游戏和二次元用户。使用简单,就是选角色对话,创建也很简单,角色的核心差异靠不同的详细描述,且开放用户角色 Prompt 可见。 此外,您还可以通过提示 AI 工具(如 ChatGPT)来辅助您草拟短篇小说的初稿。提示制作不是魔法,但基本提示可能导致无聊的写作,提高提示并不难,只需与系统互动。您可以将文本粘贴到人工智能中,要求它改进内容,或就如何为特定受众提供更好的建议,要求它以截然不同的风格创建多个草稿,要求它使事物更生动,或者添加例子,用它来激发您做得更好的工作。
2024-11-05
写短篇小说用什么ai
以下是一些可用于写短篇小说的 AI 工具和方法: 1. midreal.ai:可以以“即兴喜剧”开头来创作短篇小说。 2. 对于写短篇小说的一般性建议: 可以利用 AI 来草拟初稿,包括博客文章、论文、宣传材料、演讲、讲座、剧本、短篇小说等。您只需给出提示,不过基本提示可能导致写作较平淡,通过提高提示水平并与系统互动,能获得更好的效果。 可以将自己的文本粘贴到 AI 中,要求它改进内容、提供针对特定受众的更好建议、创建不同风格的草稿、使内容更生动或添加例子,以激发自己创作出更好的作品。 还可以让 AI 帮忙完成一些任务,如写邮件、创建销售模板等。 需要注意的是,AI 工具的使用效果可能因个人需求和偏好有所不同,且其可用性和功能也可能随时间变化。
2024-11-05
短篇小说创作用什么ai辅助
以下是一些在短篇小说创作中可以使用的 AI 辅助方式: 1. 草拟初稿:您可以让 AI 为您生成短篇小说的初稿,包括博客文章、论文、宣传材料、演讲、讲座、剧本、短篇小说等。但要注意基本提示可能导致无聊的写作,通过与系统互动提高提示效果。 2. 改进内容:将您的文本粘贴到 AI 中,要求它改进内容,或就如何为特定受众提供更好的建议。还可以要求它以截然不同的风格创建多个草稿,使事物更生动,或者添加例子,以激发您创作出更好的作品。 3. 完成任务:AI 可以帮助您完成一些没有时间做的事情,例如写邮件、创建销售模板、提供商业计划的下一步等。 4. 增强记忆和稳定输出:Code Interpreter 可以用来增强记忆、通过代码让 AI 完成一些需要稳定输出的事情。 需要注意的是,整个小说创作过程可能较为繁琐,可能需要多次尝试和相互复制粘贴内容。此外,在使用 AI 辅助创作时,agent 框架需要能非常灵活地让人工干预。
2024-11-05