Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

LoRA训练

Answer

LoRA 训练主要包括以下步骤：

  1. 创建数据集：
    • 进入厚德云-模型训练-数据集，点击右上角创建数据集。
    • 输入数据集名称。
    • 可以上传包含图片+标签 txt 的 zip 文件，也可以只有图片后续使用自动打标功能，或者一张一张单独上传照片，但建议提前把图片和标签打包成 zip 上传。
    • Zip 文件里图片名称与标签文件应当匹配，例如：图片名“1.png”，对应的达标文件就叫“1.txt”。
    • 上传 zip 以后等待一段时间，确认创建数据集，返回到上一个页面，等待一段时间后上传成功，可以点击详情检查，预览数据集的图片以及对应的标签。
  2. Lora 训练：
    • 点击 Flux，基础模型会默认是 FLUX 1.0D 版本。
    • 选择数据集，点击右侧箭头，会跳出所有上传过的数据集。
    • 触发词可有可无，取决于数据集是否有触发词，模型效果预览提示词则随机抽取一个数据集中的标签填入即可。
    • 训练参数这里可以调节重复次数与训练轮数，厚德云会自动计算训练步数。如果不知道如何设置，可以默认 20 重复次数和 10 轮训练轮数。
    • 可以按需求选择是否加速，点击开始训练，会显示所需要消耗的算力。
    • 然后等待训练，会显示预览时间和进度条。训练完成的会显示出每一轮的预览图。
    • 鼠标悬浮到想要的轮次模型，中间会有个生图，点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。

此外，郑敏轩提到的 Flux 的 Lora 训练还需要：

  1. 下载相关模型：t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors、flux1-dev.safetensors。
  2. 下载脚本：
    • 夸克网盘链接：https://pan.quark.cn/s/ddf85bb2ac59
    • 百度网盘链接：https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq 提取码：pfsq
  3. 安装虚拟环境：下载完解压，在文件中找到 install-cn-qinglong.ps1 这个文件，右键选择“使用 PowerShell 运行”，新手点击“Y”，然后等待 1 - 2 小时的漫长下载过程，下好后最后会提示是否下载 hunyuan 模型，选择 n 不用下载。

在 AI 梦一丹一世界（下）2025 年 2 月 8 日副本中提到，参加相关比赛须用摩搭平台和麦橘超然模型作为底膜训练 Lora，提交训练好的 Lora 及用其生成的六张以上高质量、展现完整世界观的作品。作图分三步，一是明确创作主题即锚点，根据 Lora 风格确定创作方向；二是确定主体，联想主体的角色设定；三是增加叙事感，让画面有一到两个及以上角色，制造反差和联想。好看的图片的构成因素包括构图、色彩以及光影，构图包括景别（远景、全景、中景、近景、特写）和拍摄视角（俯视、平视、仰视，正面、侧面、背面），构图要素有主体、陪体、前景、背景、点线面，构图方式有点中心构图、九宫格构图、三分法构图、对称构图、对角线构图、曲线构图、框架构图、三角形构图等。在 AI 绘图中，推荐中景及以上景别，全身景别可能需开 AD 跳以确保作图质量。

Content generated by AI large model, please carefully verify (powered by aily)

References

10-0基础训练大模型

进入厚德云-模型训练-数据集https://portal.houdeyun.cn/sd/dataset[heading2]步骤一·创建数据集[content]在数据集一栏中，点a击右上角创建数据集输入数据集名称这个zip文件可以是包含图片+标签txt，也可以只有图片没有打标文件（之后你可以在c站使用它的自动打标功能）你也可以一张一张单独上传照片，但还是建议提前把图片和标签打包成zip上传Zip文件里图片名称与标签文件应当匹配例如:图片名"1.png",对应的达标文件就叫"1.txt"。上传zip以后等待一段时间确认创建数据集返回到上一个页面，等待一段时间后就会上传成功，可以点击详情检查可以预览到数据集的图片以及对应的标签[heading2]步骤二·Lora训练[content]点击Flux，基础模型会默认是FLUX 1.0D版本选择数据集，点击右侧箭头，会跳出你所有上传过的数据集触发词可有可无，取决于你的数据集是否有触发词模型效果预览提示词则随机抽取一个你数据集里的标签填入即可训练参数这里可以调节重复次数与训练轮数，厚德云会自动计算训练步数如果不知道如何设置，可以默认20重复次数和10轮训练轮数可以按需求选择是否加速，点击开始训练，会显示所需要消耗的算力然后就可以等待训练了，会显示预览时间和进度条训练完成的会显示出每一轮的预览图鼠标悬浮到你想要的轮次模型，中间会有个生图，点击会自动跳转到使用此lora生图的界面。点击下方的下载按钮则会自动下载到本地

郑敏轩 ：Flux的Lora模型训练

作者@郑敏轩大家好，上次讲了Flux简介，我们这次来讲讲Flux的Lora训练首先你要确保你已经正确安装使用了Flux的各个模块~~哈哈，开个玩笑，其实不用安装使用也是可以训练的~但是你要把当时需要的几个模型下载下来：t5xxl_fp16.safetensorsclip_l.safetensorsae.safetensorsflux1-dev.safetensors注意：1.你不使用的话他们放到哪里都可以，甚至放一起一个文件夹，只要你知道“路径”，我们后面要引用到“路径”2.因为是训练，不是跑图，跑图我们可以寻求降低方案，训练的话，哈哈模型就用flux1-dev.safetensors这个版本，编码器也用t5xxl_fp16.safetensors这个版本最好。好，接下来我们使用青龙的训练脚本，在此给青龙大大跪拜一下~阿弥陀佛~[heading2]下载脚本[content]网盘链接：夸克网盘链接：https://pan.quark.cn/s/ddf85bb2ac59通过百度网盘分享的文件：Flux_train_20.4.zip链接：https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq提取码：pfsq--来自百度网盘超级会员V3的分享[heading2]安装虚拟环境[content]好，下载完，解压首先在文件中找到install-cn-qinglong.ps1这个文件，右键，选择“使用PowerShell运行”新手的话这里就点击“Y”然后等待那么1-2小时的漫长下载过程~2 hours later...下好了之后最后会提示你是否下载hunyuan模型，选择n不用下载

AI梦：一丹一世界（下） 2025年2月8日 副本

[heading2]总结AI炼丹直播共学课第二节课比赛要求说明：参加由麦乐园和摩达社区发起的AI梦一单一世界比赛，须用摩搭平台和麦橘超然模型作为底膜训练Lora，提交训练好的Lora及用其生成的六张以上高质量、展现完整世界观的作品。作图思路分享：作图分三步，一是明确创作主题即锚点，根据Lora风格确定创作方向；二是确定主体，联想主体的角色设定；三是增加叙事感，让画面有一到两个及以上角色，制造反差和联想。图片构成因素：好看的图片的构成因素包括构图、色彩以及光影。创作有趣作品：通过运用反差制造有冲击力的画面，创作出有叙事感和趣味性的作品。关于构图的介绍与分析构图概念：构图指在框架或空间内元素的摆放位置、形状、物体形状及纹理等，好的构图能引导观看者并创造和谐平衡。构图分类：包括景别（远景、全景、中景、近景、特写）和拍摄视角（俯视、平视、仰视，正面、侧面、背面）。构图要素：有主体、陪体、前景、背景、点线面，合理运用可丰富画面。构图方式：如点中心构图、九宫格构图、三分法构图、对称构图、对角线构图、曲线构图、框架构图、三角形构图等。AI绘图应用：在AI绘图中，推荐中景及以上景别，全身景别可能需开AD跳以确保作图质量。

Others are asking
我想了解现在有什么文生图的模型或者工具，可以精准的按照prompt给的位置大小把文字写在最终出来的图像上的，这个字不会是幻觉，是实打实的字，或者有没有通过训练lora来达到这个效果的
以下是一些关于文生图的模型和工具的信息： Tusiart： 定主题：确定生成图片的主题、风格和表达的信息。 选择基础模型 Checkpoint：可选用麦橘、墨幽等系列模型。 选择 lora：寻找与生成内容重叠的 lora 以控制图片效果和质量。 ControlNet：可控制图片中特定的图像。 设置 VAE：选择 840000 。 Prompt 提示词：用英文写需求，单词和短语用英文半角逗号隔开。 负向提示词 Negative Prompt：用英文写避免产生的内容，单词和短语用英文半角逗号隔开。 采样算法：一般选 DPM++2M Karras ，也可参考模型作者推荐的采样器。 采样次数：选 DPM++2M Karras 时，采样次数在 30 40 之间。 尺寸：根据需求和喜好选择。 吐司网站： 文生图的操作方式：在首页的对话生图对话框输入文字描述即可生成图片，不满意可通过对话修改。 模型及生成效果：Flex 模型对语义理解强，不同模型生成图片的积分消耗不同，生成效果受多种因素影响。 图生图及参数设置：可基于图片做延展，能调整尺寸、生成数量等参数，高清修复消耗算力多，建议先出小图。 特定风格的生成：国外模型对中式水墨风等特定风格的适配可能不足，可通过训练 Lora 模型改善。 Liblibai： 定主题：确定生成图片的主题、风格和表达的信息。 选择 Checkpoint：可选用麦橘、墨幽等系列模型。 选择 lora：寻找与生成内容重叠的 lora 以控制图片效果和质量。 设置 VAE：选择 840000 。 CLIP 跳过层：设成 2 。 Prompt 提示词：用英文写需求，单词和短语用英文半角逗号隔开。 负向提示词 Negative Prompt：用英文写避免产生的内容，单词和短语用英文半角逗号隔开。 采样方法：一般选 DPM++2M Karras ，也可参考模型作者推荐的采样器。 迭代步数：选 DPM++2M Karras 时，迭代步数在 30 40 之间。 尺寸：根据需求和喜好选择。 生成批次：默认 1 批。
2025-02-25
lora
LoRA 相关信息如下： 模型微调： 微调脚本： LoRA 微调脚本见：，单机多卡的微调可通过修改脚本中的include localhost:0 来实现。 全量参数微调脚本见：。 加载微调模型： LoRA 微调：基于 LoRA 微调的模型参数见基于 Llama2 的中文微调模型，LoRA 参数需和基础模型参数结合使用。通过加载预训练模型参数和微调模型参数，示例代码中，base_model_name_or_path 为预训练模型参数保存路径，finetune_model_path 为微调模型参数保存路径。 全量参数微调：调用方式同模型调用代码示例，只需修改其中的模型名称或保存路径。 在 SD 中的应用： 儿童绘本风格插画：可以生成儿童绘本风格插画，起作用的主要是“KIDS ILLUSTRATION”风格 lora，可搭配不同大模型使用，如官方案例中的超拟真大模型“Realistic Vision”。 Fooocus 介绍：LoRA 模型默认放在 Fooocus_win64_1110\\Fooocus\\models\\loras。Fooocus 程序默认用到 3 个 SDXL 的模型，包括一个 base、一个 Refiner 和一个 LoRA。单独安装时需下载三个模型，如 SDXL 基础模型：https://huggingface.co/stabilityai/stablediffusionxlbase1.0/resolve/main/sd_xl_base_1.0_0.9vae.safetensors 等。若部署了 SD 秋叶包，可共用模型（大模型和 LoRA），修改 Fooocus_win64_1110\\Fooocus\\modules\\path.py 文件中的路径，配置好后点击 run.bat 文件启动。
2025-02-22
主流的LORA 训练工具是什么？
主流的 LORA 训练工具包括： 1. B 站 UP 主“朱尼酱”的赛博丹炉，其界面友好、美观，适合新手入门。 2. 训练器，支持 Kolors 开源模型。 3. Kolors+Refiner，由 AIKSK 开发的工作流应用。 4. Kolors可图大模型XL 精修工作流，由@AiARTiST 非人类开发。 5. kolors+SDXL 细节修复+instant+ipa，由@谷尘 DesignDog 开发。 6. kolors 一键设计中文海报，由亦诚视觉开发。 7. ，魔搭社区官方模型。 8. InstantIDKolors 专属模型，由 InstantX 开发。
2025-02-18
LORA是什么
LoRA 全称 LowRank Adaptation Models，中文翻译为低阶自适应模型。它的作用在于影响和微调画面，通过其帮助，可以再现人物或物品的特征。 大模型的训练通常复杂且对电脑配置要求高，而 LoRA 采用在原有的模型中插入新的数据处理层的方式，避免了修改原有模型的参数。LORA 模型训练是用一些特定特征来替换大模型中的对应元素，比如一个固定的人物相貌、特定的服装或者是特定的风格，这样就可以生成不同于底模的图片。 所以，lora 训练比较轻量化，需要的显存较少，硬件门槛显存达到 6G 就可以开启训练。
2025-02-17
有没有lora怎么使用的教程
以下是关于 Lora 使用的教程： 1. 港风胶片 Lora 模型使用方法： 方法 1：利用上一期活动图片反推工作流，使用唯美港风图片进行反推提示词，在大模型后接一个墨悠_胶片 Lora。上一期活动链接：。胶片 Lora 链接：https://www.liblib.art/modelinfo/e16a07d8be544e82b1cd14c37e217119?from=personal_page 方法 2：利用抱脸的 joycaption 图片反推提示词，然后在哩布上跑 flux 文生图工作流。 joycaption 链接（需要魔法）：https://huggingface.co/spaces/fancyfeast/joycaptionprealpha 文生图工作流： 在哩布上跑文生图：https://www.liblib.art/modelinfo/e16a07d8be544e82b1cd14c37e217119?from=personal_page 2. Comfyui SDXLLightning 中 Lora 的使用： SDXLLightning 是字节跳动推出的高速文本生成图像模型，包含完整的 UNet 和 LoRA 检查点。用户可以使用 Diffusers 和 ComfyUI 等框架进行配置。模型地址：https://huggingface.co/ByteDance/SDXLLightning/tree/main 。 实际使用时，拿 Lora 的使用来做介绍，使用方法和平常的 Lora 用法一样，但需要注意 CFG 值需要调小，一般设置为 1，另外步数设置根据使用的 Lora 步数为准。 3. Stable Diffusion 中 Lora 的使用： 当想要生成多张同一张脸的照片时，需要用到 Lora 模型。Lora 可以固定照片的特征，如人物特征、动作特征、照片风格。 点击“生成”下面的第三个按钮，弹出新的选项框，找到 Lora，就会出现下载保存到电脑的 Lora 模型。 点击要用的 Lora，会自动添加到关键词的文本框里面。Lora 可以叠加使用，但建议新手不要使用太多 Lora，每个 Lora 后面的数字用于调整权重，一般只会降低权重。 选择 Lora 时，要根据最开始想要生成的照片类型来选择，比如想生成真人模特，对应的 Lora 也要选用真人模特。
2025-02-17
flux lora训练
以下是关于 Flux 的 Lora 模型训练的详细步骤： 模型准备： 1. 下载所需模型：t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors、flux1dev.safetensors。 注意：不使用时存放位置不限，只要知晓路径即可。训练时建议使用 flux1dev.safetensors 版本的模型和 t5xxl_fp16.safetensors 版本的编码器。 下载脚本： 1. 网盘链接： 夸克网盘链接：https://pan.quark.cn/s/ddf85bb2ac59 百度网盘链接：https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq 提取码：pfsq 安装虚拟环境： 1. 下载完脚本并解压。 2. 在文件中找到 installcnqinglong.ps1 文件，右键选择“使用 PowerShell 运行”。 3. 新手在此点击“Y”，然后等待 1 2 小时的下载过程。下载完成后会提示是否下载 hunyuan 模型，选择“n”不用下载。 数据集准备： 1. 进入厚德云 模型训练 数据集：https://portal.houdeyun.cn/sd/dataset 2. 创建数据集：在数据集一栏中，点击右上角创建数据集，输入数据集名称。 可以上传包含图片 + 标签 txt 的 zip 文件，也可以上传只有图片的文件（之后可在 c 站使用自动打标功能），或者一张一张单独上传照片。建议提前将图片和标签打包成 zip 上传，Zip 文件里图片名称与标签文件应当匹配，例如：图片名“1.png”，对应的达标文件就叫“1.txt”。 上传 zip 以后等待一段时间，确认创建数据集。返回到上一个页面，等待一段时间后上传成功，可以点击详情检查，可预览到数据集的图片以及对应的标签。 Lora 训练： 1. 点击 Flux，基础模型会默认是 FLUX 1.0D 版本。 2. 选择数据集，点击右侧箭头，会跳出所有上传过的数据集。 3. 触发词可有可无，取决于数据集是否有触发词。模型效果预览提示词则随机抽取一个数据集中的标签填入即可。 4. 训练参数这里可以调节重复次数与训练轮数，厚德云会自动计算训练步数。如果不知道如何设置，可以默认 20 重复次数和 10 轮训练轮数。 5. 可以按需求选择是否加速，点击开始训练，会显示所需要消耗的算力。 6. 等待训练，会显示预览时间和进度条。训练完成会显示每一轮的预览图。鼠标悬浮到想要的轮次模型，中间会有个生图，点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。 数据集存放位置：.Flux_train_20.4\\train\\qinglong\\train 运行训练：约 1 2 小时即可训练完成。 验证和 lora 跑图：有 ComfyUI 基础的话，直接在原版工作流的模型后面，多加一个 LoraloaderModelOnly 的节点就可以，自行选择您的 Lora 和调节参数。
2025-02-17
一个可以总结文章的AI应用是怎么训练出来的?
一个可以总结文章的 AI 应用通常通过以下方式训练： 1. 数据准备：收集大量的文本数据，包括各种类型和主题的文章。 2. 模型选择：使用适合自然语言处理任务的大型语言模型，如 OpenAI 的 GPT 系列。 3. 导入相关库和加载 API 密钥：例如导入 OpenAI 并加载 API 密钥。 4. 设计提示：制定明确的提示，如要求从电子商务网站的产品评论中生成简短摘要。 5. 针对不同需求训练： 文字总结：对一般性的文字进行总结。 针对某种信息总结：例如特定领域或特定类型的信息。 尝试“提取”而不是“总结”：更侧重于关键信息的提取。 针对多项信息总结：处理多个相关的文本信息。 6. 应用拓展：不仅可以总结文章，还能总结群聊消息、B站视频等。对于 B 站视频，通过获取字幕并发送给 AI 来实现总结。 7. 与 API 配合：通过 OpenAI API 等获取有效密钥，并结合示例代码进行开发和优化。
2025-03-03
怎么利用大模型训练自己的机器人
利用大模型训练自己的机器人可以参考以下内容： OpenAI 通用人工智能（AGI）的计划显示，在互联网上所有的图像和视频数据上训练一个与人类大脑大小相当的 AI 模型，将足以处理复杂的机器人学任务。常识推理隐藏在视频和文本数据中，专注于文本的 GPT4 在常识推理上表现出色。Google 最近的例子展示了机器人学能力可从大型视觉/语言模型中学习，在语言和视觉训练基础上，只需最少的机器人学数据，视觉和文本任务的知识就能转移到机器人学任务上。特斯拉训练的“Optimus”通过人类示范学习抓取物体，若人类示范是先进机器人学性能所需的一切，在互联网上所有视频上训练的大模型肯定能实现惊人的机器人学性能。 梦飞提供了在自己的电脑上部署 COW 微信机器人项目的教程，程序在本地运行，若关掉窗口进程结束，想持续使用需保持窗口打开和运行。以 Windows10 系统为例，注册大模型可参考百炼首页：https://bailian.console.aliyun.com/ ，需更改"model"和添加"dashscope_api_key"，获取 key 可参考视频教程。 张梦飞提供了从 LLM 大语言模型、知识库到微信机器人的全本地部署教程，部署大语言模型包括下载并安装 Ollama，根据电脑系统下载：https://ollama.com/download ，安装完成后将下方地址复制进浏览器中确认安装完成：http://127.0.0.1:11434/ 。下载 qwen2:0.5b 模型，Windows 电脑按 win+R 输入 cmd 回车，Mac 电脑通过 Command（⌘）+Space 键打开 Spotlight 搜索输入“Terminal”或“终端”，复制命令行粘贴回车等待下载完成。
2025-03-03
如何定制化训练ai模型？
定制化训练 AI 模型通常包括以下步骤和要点： 微调（Finetuning）： 微调可以让您从 API 提供的模型中获得更多收益，例如获得比即时设计更高质量的结果、能够训练比提示中更多的例子、由于更短的提示而节省 Token、实现更低的延迟请求。 GPT3 已在大量文本上预训练，小样本学习时它能凭直觉判断任务并生成合理结果，微调通过训练更多示例改进小样本学习，让您在大量任务中取得更好结果。对模型进行微调后，不再需要在提示中提供示例，节省成本并降低延迟。 微调的高层次步骤包括准备和上传训练数据、训练新的微调模型、使用您的微调模型。 哪些模型可以微调： 微调目前仅适用于以下基础模型：davinci、curie、babbage 和 ada。这些是原始模型，在训练后没有任何说明（例如 textdavinci003）。您还可以继续微调微调模型以添加其他数据，而无需从头开始。 安装： 建议使用 OpenAI 命令行界面。要安装，运行（以下说明适用于 0.9.4 及更高版本。此外，OpenAI CLI 需要 python 3。） 通过将相关行添加到 shell 初始化脚本（例如.bashrc、zshrc 等）或在微调命令之前的命令行中运行来设置环境变量。 选择 AI 模型： 通过选择您喜欢的 AI 模型，Cursor Chat 将使用该模型生成响应。您可以通过按 Ctrl/⌘/在模型之间切换。 默认情况下，Cursor Chat 使用 OpenAI 的 GPT4 作为其 AI 模型（具体来说，gpt4 标签指向我们的 GPT4Turbo 实例）。 您为 Chat 选择的 AI 模型将保存以供将来使用，不必每次打开 Cursor Chat 时都更改。 模型概述： OpenAI API 由具有不同功能和价位的多种模型提供支持，还可以通过微调针对特定用例对原始基本模型进行有限的定制。 常见模型包括 GPT4、GPT3.5、DALL·E、Whisper、Embeddings、Codex、Moderation、GPT3 等，各自具有不同的功能和应用场景。
2025-03-03
deepseek和chatgtp的训练方式有什么不同
DeepSeek R1 的训练方式采用强化学习（RL），跳过了监督微调（SFT）阶段。而 ChatGPT 采用预训练+监督微调（SFT）的方式。 ChatGPT 这种方式适用于知识性问答。DeepSeek R1 能自发进行复杂推理，自我回溯、多角度思考，解题过程更完整，但其计算成本更高。在日常查询方面，GPT4o 更快、更适合简单咨询。DeepSeek R1 则在高难度数学和编程问题上更具优势，且更加透明，研究细节可复现，权重可下载。
2025-02-27
大模型训练全流程
大模型训练通常包括以下全流程： 1. 收集海量数据：如同教导孩子成为博学多才之人，要让其阅读大量书籍、观看纪录片、与人交谈，对于 AI 模型，就是收集互联网上的文章、书籍、维基百科条目、社交媒体帖子等各种文本数据。 2. 预处理数据：就像为孩子整理学习资料，AI 研究人员需要清理和组织收集到的数据，如删除垃圾信息、纠正拼写错误、将文本分割成易于处理的片段。 3. 设计模型架构：如同为孩子设计学习计划，研究人员要设计 AI 模型的“大脑”结构，通常是一个复杂的神经网络，如 Transformer 架构，这种架构擅长处理序列数据（如文本）。 4. 训练模型：如同孩子开始学习，AI 模型开始“阅读”提供的数据，通过反复阅读尝试预测句子中的下一个词，从而逐渐学会理解和生成人类语言。 此外，大模型训练还可以类比为“上学参加工作”： 1. 找学校：训练大模型需要大量计算，GPU 更合适，只有购买得起大量 GPU 的才有资本训练自己的大模型。 2. 确定教材：大模型需要大量数据，几千亿序列（Token）的输入基本是标配。 3. 找老师：即用合适的算法讲述“书本”中的内容，让大模型更好理解 Token 之间的关系。 4. 就业指导：为让大模型更好胜任某一行业，需要进行微调（fine tuning）指导。 5. 搬砖：就业指导完成后，进行如翻译、问答等工作，在大模型里称之为推导（infer）。 一般训练还会有以下步骤： 1. 无监督学习：模型通过分析大量文本数据，学习语言基本结构和常识，具备文本补齐能力，将人类知识向量化以获得基础语言模型。 2. 清洗出好的数据。 3. 指令微调：训练模型理解并执行具体指令，如翻译文本以回答问题，输入内容包括特定格式的指令、输入和输出。 4. 对齐过程：通过引入人类评价标准和处理特定格式要求，优化模型输出以符合人类期望，包括处理文化、道德等细节。 虽然各公司具体实现细节可能是机密，但这些步骤共同构成了构建高效、实用大语言模型的过程，最终产生的模型可能含有高达 1750 亿个参数。在开源与闭源模型的开发策略中，开源模型依赖社区贡献，闭源模型由企业投入大量资源开发，两种策略都旨在推动大语言模型技术发展和应用。
2025-02-26
目前市面上有哪些ai可以实现免费创建并训练大模型，以满足个人需求
目前市面上有以下一些可以免费创建并训练大模型以满足个人需求的途径： 1. 免费云服务器： 阿里、腾讯对新用户提供免费试用服务器，如腾讯云的。服务器系统配置可选择【宝塔】系统。 2. 免费大模型接口： 阿里的接口，创建 API key 即可。 也有免费接口，但国内大模型通常限制一定免费额度的 Token。 谷歌的来学习如何给服务器科学上网及使用海外版 Coze。 此外，关于大模型的相关知识： 1. 架构方面： encoderonly 模型通常适用于自然语言理解任务，如分类和情感分析，最知名的代表模型是 BERT。 encoderdecoder 模型同时结合了 Transformer 架构的 encoder 和 decoder 来理解和生成内容，代表是谷歌的 T5。 decoderonly 模型更擅长自然语言生成任务，目前熟知的众多 AI 助手基本都来自此类架构。 2. 大模型的特点： 预训练数据非常大，往往来自于互联网上，包括论文、代码、公开网页等，一般用 TB 级别的数据进行预训练。 参数非常多，Open 在 2020 年发布的 GPT3 就已经达到 170B 的参数。 在技术原理方面： 1. 生成式 AI 生成的内容叫做 AIGC。 2. 相关技术名词： AI 即人工智能。 机器学习包括监督学习、无监督学习、强化学习。监督学习有标签的训练数据，算法目标是学习输入和输出之间的映射关系，包括分类和回归。无监督学习学习的数据没有标签，算法自主发现规律，经典任务包括聚类。强化学习从反馈里学习，最大化奖励或最小化损失。深度学习参照人脑有神经网络和神经元，神经网络可用于多种学习方式。 生成式 AI 可以生成文本、图片、音频、视频等内容形式。LLM 即大语言模型，生成图像的扩散模型不是大语言模型，对于大语言模型，生成只是其中一个处理任务。 3. 技术里程碑：2017 年 6 月，谷歌团队发表论文《Attention is All You Need》，首次提出了 Transformer 模型，它完全基于自注意力机制来处理序列数据，而不需要依赖于循环神经网络或卷积神经网络。
2025-02-26