直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

怎么训练自己的模型

回答

训练自己的模型可以参考以下内容：

  • 基于百川大模型：
    • 选择 Baichuan2-7B-Chat 模型作为底模，配置模型本地路径和提示模板。
    • 在 Train 页面里，选择 sft 训练方式，加载定义好的数据集（如 wechat 和 self_cognition）。
    • 注意学习率和训练轮次的设置，要根据数据集大小和收敛情况来调整。
    • 使用 FlashAttention-2 可减少显存需求，加速训练速度。
    • 显存小的情况下，可以减少 batch size 并开启量化训练，内置的 QLora 训练方式好用。
    • 需要用到 xformers 的依赖。
    • 显存占用约 20G 左右，训练时间根据聊天记录规模大小而定，少则几小时，多则几天。
  • 训练自己的 AI 绘画模型（Stable Diffusion）：
    • 样本采样器（sample_sampler）：可选择["ddim","pndm","lms","euler","euler_a","heun","dpm_2","dpm_2_a","dpmsolver","dpmsolver++","dpmsingle","k_lms","k_euler","k_euler_a","k_dpm_2","k_dpm_2_a"]，默认是“ddim”。
    • 保存模型格式（save_model_as）：可选择["ckpt","safetensors","diffusers","diffusers_safetensors"]，SD WebUI 兼容"ckpt"和"safetensors"格式模型。
    • 训练流程主要包括：
      • 训练集制作：数据质量评估、标签梳理、数据清洗、标注、标签清洗、增强等。
      • 训练文件配置：预训练模型选择、训练环境配置、训练步数及其他超参数设置等。
      • 模型训练：运行训练脚本，使用 TensorBoard 监控。
      • 模型测试：用于效果评估与消融实验。
    • 训练资源：
内容由 AI 大模型生成，请仔细甄别（powered by aily）

参考资料

创作：基于百川大模型向微信群大佬们虚心学习

选择Baichuan2-7B-Chat模型作为底模，配置模型本地路径，配置提示模板Train页面里，选择sft训练方式，加载定义好的数据集wechat和self_cognition。其中学习率和训练轮次非常重要，根据自己的数据集大小和收敛情况来设置，使用FlashAttention-2则可以减少显存需求，加速训练速度；显存小的朋友可以减少batch size和开启量化训练，内置的QLora训练方式非常好用。需要用到xformers的依赖具体命令参数如下：显存占用20G左右，耐心等待一段时间，请神模式开启...根据聊天记录规模大小，少则要几小时，多则几天，一个虚拟助手就能训练完成了。专不专业还有待大量标准问答验证，只是口气和习惯的模仿是有点意思的，若再加上[《克隆自己的声音——赛博分身必备技能》](http://mp.weixin.qq.com/s?__biz=MzI0MzA4NDkwMw==&mid=2247492147&idx=1&sn=efacb40a6c5610b6ed7368ba1d043f13&chksm=e970d93bde07502df2ff09ae3e700923ae285c21c7151282870d9e1db309da07ee5a49f609ed&scene=21#wechat_redirect)的效果，那几乎就传神了。不过这里还有很多细节工作需要完善：

教程：深入浅出完整解析Stable Diffusion（SD）核心基础知识 - 知乎

sample_sampler：设置训练中测试模型效果时使用的sampler，可以选择["ddim","pndm","lms","euler","euler_a","heun","dpm_2","dpm_2_a","dpmsolver","dpmsolver++","dpmsingle","k_lms","k_euler","k_euler_a","k_dpm_2","k_dpm_2_a"]，默认是“ddim”。save_model_as：每次模型权重保存时的格式，可以选择["ckpt","safetensors","diffusers","diffusers_safetensors"]，目前SD WebUI兼容"ckpt"和"safetensors"格式模型。（3）SD关键参数详解（4）SD模型训练完成训练参数配置后，我们就可以运行训练脚本进行SD模型的全参微调训练了。我们本次训练用的底模型选择了WeThinkIn_SD_二次元模型，大家可以关注Rocky的公众号WeThinkIn，后台回复“ SD_二次元模型”获取模型资源链接。我们打开SD_finetune.sh脚本，可以看到以下的代码：我们把训练脚本封装在accelerate库里，这样就能启动我们一开始配置的训练环境了。在本文的6.2节中，我们已经详细介绍了如何配置accelerate训练环境，如果我们想要切换不同的训练环境参数，我们只需要将accelerate_config.yaml改成我们所需要的配置文件与路径即可（比如：/本地路径/new_accelrate_config.yaml）。

教程：深入浅出完整解析Stable Diffusion（SD）核心基础知识 - 知乎

Stable Diffusion系列模型的训练流程主要分成以下几个步骤：1.训练集制作：数据质量评估，标签梳理，数据清洗，数据标注，标签清洗，数据增强等。2.训练文件配置：预训练模型选择，训练环境配置，训练步数设置，其他超参数设置等。3.模型训练：运行SD模型/LoRA模型训练脚本，使用TensorBoard监控模型训练等。4.模型测试：将训练好的自训练SD模型/LoRA模型用于效果评估与消融实验。讲完Stable Diffusion模型训练的方法论，Rocky再向大家推荐一些Stable Diffusion的训练资源：[https:// github.com/Linaqruf/koh ya-trainer](https://link.zhihu.com/?target=https%3A//github.com/Linaqruf/kohya-trainer)（本文中主要的训练工程）[https:// github.com/huggingface/ diffusers/tree/main/examples](https://link.zhihu.com/?target=https%3A//github.com/huggingface/diffusers/tree/main/examples)（huggingface的diffusers开源训练框架）Rocky整理优化过的SD完整训练资源SD-Train项目，大家只用在SD-Train中就可以完成SD的模型训练工作，方便大家上手实操。SD-Train项目资源包可以通过关注公众号WeThinkIn，后台回复“ SD-Train ”获取。目前我们对Stable Diffusion的训练流程与所需资源有了初步的了解，接下来，就让我们跟随着Rocky的脚步，从0到1使用Stable Diffusion模型和训练资源一起训练自己的Stable Diffusion绘画模型与LoRA绘画模型吧！

其他人在问
如何用ai模型做训练
以下是关于如何用 AI 模型做训练的相关内容： 要在医疗保健领域让 AI 产生真正的改变，应投资创建像优秀医生和药物开发者那样学习的模型生态系统。成为顶尖人才通常从多年密集信息输入和学徒实践开始，AI 也应如此。当前的学习方式存在问题，应通过堆叠模型训练，如先训练生物学、化学模型，再添加特定数据点。就像预医学生从基础课程学起，设计新疗法的科学家经历多年学习和指导，这种方式能培养处理细微差别决策的直觉。 大模型的构建过程包括： 1. 收集海量数据：如同教孩子博学多才要让其阅读大量资料，对于 AI 模型要收集互联网上的各种文本数据。 2. 预处理数据：像为孩子整理适合的资料，AI 研究人员要清理和组织收集的数据，如删除垃圾信息、纠正拼写错误等。 3. 设计模型架构：为孩子设计学习计划，研究人员要设计 AI 模型的“大脑”结构，通常是复杂的神经网络，如 Transformer 架构。 4. 训练模型：像孩子开始学习，AI 模型开始“阅读”数据，通过反复预测句子中的下一个词等方式逐渐学会理解和生成人类语言。 为提高 AI 模型的鲁棒性，应对可能的“恶意”样本数据导致的幻觉，可使用对抗训练技术，让模型在训练中接触并学会识别和抵抗。
2024-11-13
大模型排名
以下是关于大模型排名的相关信息： 斯坦福发布了大模型排行榜 AlpacaEval，这是一种基于 LLM 的全自动评估基准，更加快速、廉价和可靠。项目链接：https://github.com/tatsulab/alpaca_eval ，排行榜链接：https://tatsulab.github.io/alpaca_eval/ 。 该排行榜分为以 GPT4 和 Claude 为元标注器的两个子榜单。 在 GPT4 评估榜单中，GPT4 稳居第一，胜率超过 95%；Claude 和 ChatGPT 胜率都在 80%以上，分别排名第二和第三，Claude 以不到 3%的优势超越 ChatGPT。 开源模型中，WizardLM 以仅 130 亿的参数版本排名第一，击败了 650 亿参数量的 Guanaco；Vicuna 发挥稳定，胜率超过 70%排在第六，紧追 Guanaco 65B；Falcon Instruct 40B 表现不佳，仅位居 12 名，略高于 Alpaca Farm 7B。 AlpacaEval 团队已开源所有模型评估代码和分析数据，以及支持未来新模型榜单更新的测试工具，但它仍不是一个全面的模型能力评测系统，存在指令比较简单、评分可能更偏向风格而非事实、没有衡量模型可能造成的危害等局限性。 中国国内的大模型排名可能在短时间内会有变化，作为 AI 机器人无法提供最新的信息。要获取最新的中国国内大模型排名，您可以查阅相关的科技新闻网站、学术论坛或关注人工智能领域的社交媒体平台，在会定期更新相关的排名报告，可以供您查阅。但请注意，内容由 AI 大模型生成，请仔细甄别。
2024-11-13
图生文模型
以下是关于图生文模型的相关信息： Kolors 是一款强大的开源文生图模型，具有更强的中文文本编码器、机造的高质量文本描述、人标的高质量图片、强大的中文渲染能力，以及巧妙的 noise schedule 解决高分辨率图加噪不彻底的问题。实测效果很不错，展现了快手的技术实力。 Tripo AI 中，文生 3D 模型是用一段文字生成 3D 模型，在「Create」界面底部输入框输入提示词（不支持中文），不会写提示词可点击输入框左侧的</>按钮随机生成并自动填入。填写好提示词后点击右侧「Create」生成 3D 模型，每次生成 4 个基础模型，不满意可点击「Retry」重新生成。有满意的模型点击单个模型下方黄色的「Refine」精修，精修进度在「My Models」中查看，一般 5 分钟左右完成。图生 3D 模型是用一张图片生成 3D 模型，点击输入框右侧的图标上传图片即可生成，一次生成一个基础模型，同样支持重生成和精修。 Tusiart 文生图操作流程包括：定主题，确定生成图片的主题、风格和信息；选择基础模型 Checkpoint，找内容贴近的模型；选择 lora，寻找内容重叠的 lora 控制图片效果及质量；ControlNet 用于控制图片中特定图像；设置 VAE 无脑选择 840000；Prompt 提示词用英文写需求，单词和短语用英文半角逗号隔开；负向提示词 Negative Prompt 用英文写避免产生的内容，单词和短语组合并用英文半角逗号隔开；采样算法一般选 DPM++ 2M Karras，也可参考模型作者推荐的采样器；采样次数根据采样器特征，选 DPM++ 2M Karras 时一般在 30 40 之间；尺寸根据个人喜好和需求选择。
2024-11-13
大小模型协同有哪些设计，具体应用有哪些呢？
大小模型协同的设计主要包括以下方面： 1. 大型模型方面： 大型语言模型：专注于处理和生成文本信息，通过分析大量的文本数据来理解和生成自然语言。 大型多模态模型：能够处理包括文本、图片、音频等多种类型的信息，在更多样化的任务中应用。 2. 小型模型方面：通常是被设计来完成特定任务的。 其具体应用包括： 1. 人机协同模式： 模式一：以人为主导，大模型提供建议（copilot 阶段），如同副驾驶，开车时提供建议，决定权在人手中。 模式二：人和大模型协同工作，合作完成同一个工作（embedding 阶段），在实际工作场景中，一些小环节由大模型完成，提高效率。 模式三：人指挥大模型工作（数字员工阶段），但此阶段目前少见，大模型还不能完全独立完成具体工作，可能是工程或大模型能力欠缺导致。 当下努力方向应是从简单使用大模型得到建议，转变为让大模型深度融入工作流，形成有高价值的一套 agent。数字员工阶段尚不成熟，可由其他大厂和学界先多尝试。
2024-11-13
大小模型协同有哪些数据
大小模型协同的数据来源广泛且多样，主要包括以下方面： 大模型方面： 预训练数据非常大，往往来自于互联网，涵盖论文、代码以及可爬取的公开网页等，通常采用 TB 级别的数据进行预训练。 像 GPT3 这样的大模型参数众多。 例如 Gemini 模型，其预训练数据集使用来自网络文档、书籍、代码的数据，并包括图像、音频和视频数据。 小模型方面： 针对特定任务进行训练，数据主要由与任务相关的内容组成，如专门识别猫或狗的模型，其训练数据主要是猫猫狗狗的照片。 大模型具有更广泛的应用范围和更多的通识知识，能处理多种不同任务；小模型在特定任务上表现出色。但大模型的知识来源于有限的训练数据，并非无限，且知识库不会自动更新，在某些特定或专业领域的知识可能不够全面。
2024-11-13
大模型排名以及排名的评测标准维度是什么
以下是一些常见的大模型排名及评测标准维度： FlagEval（天秤）大模型评测体系及开放平台： 地址： 简介：旨在建立科学、公正、开放的评测基准、方法、工具集，协助研究人员全方位评估基础模型及训练算法的性能，同时探索利用 AI 方法实现对主观评测的辅助，大幅提升评测的效率和客观性。创新构建了“能力任务指标”三维评测框架，细粒度刻画基础模型的认知能力边界，可视化呈现评测结果。 CEval： 地址： 简介：构造了一个覆盖人文，社科，理工，其他专业四个大方向，52 个学科（微积分，线代…），从中学到大学研究生以及职业考试，一共 13948 道题目的中文知识和推理型测试集。此外还给出了当前主流中文 LLM 的评测结果。 SuperCLUElyb： 地址： 简介：中文通用大模型匿名对战评价基准，这是一个中文通用大模型对战评价基准，它以众包的方式提供匿名、随机的对战。他们发布了初步的结果和基于 Elo 评级系统的排行榜。 斯坦福发布的大模型排行榜 AlpacaEval： 项目链接：https://github.com/tatsulab/alpaca_eval 排行榜链接：https://tatsulab.github.io/alpaca_eval/ 该研究团队选择了目前在开源社区很火的开源模型，还有 GPT4、PaLM 2 等众多「闭源」模型，甚至还开设了一个「准中文」排行榜。 AlpacaEval 分为以 GPT4 和 Claude 为元标注器的两个子榜单。 在斯坦福的这个 GPT4 评估榜单中： GPT4 稳居第一，胜率超过了 95%；胜率都在 80%以上的 Claude 和 ChatGPT 分别排名第二和第三，其中 Claude 以不到 3%的优势超越 ChatGPT。 值得关注的是，获得第四名的是一位排位赛新人——微软华人团队发布的 WizardLM。在所有开源模型中，WizardLM 以仅 130 亿的参数版本排名第一，击败了 650 亿参数量的 Guanaco。 而在开源模型中的佼佼者 Vicuna 发挥依然稳定，凭借着超过 70%的胜率排在第六，胜率紧追 Guanaco 65B。 最近大火的 Falcon Instruct 40B 表现不佳，仅位居 12 名，略高于 Alpaca Farm 7B。 AlpacaEval 的技术细节： 人类一致性：标注者与交叉标注集中人类多数票之间的一致性。 价格：每 1000 个标注的平均价格。 时间：计算 1000 个标注所需的平均时间。相对于人工标注，全自动化的 AlpacaEval 仅需花费约 1/22 的经济成本和 1/25 的时间成本。 AlpacaEval 评估模型的方式： alpaca_eval：直接根据目标模型输出的响应来评估模型。 alpaca_eval evaluate_from_model：根据 HuggingFace 已注册模型或这 API 提供商来端到端评测模型。 评测过程分为以下 3 步： 1. 选择一个评估集，并计算指定为 model_outputs 的输出。默认情况下，使用来自 AlpacaEval 的 805 个示例。 2. 计算 golden 输出 reference_outputs。默认情况下，在 AlpacaEval 上使用 textdavinci003 的输出。 3. 通过 annotators_config 选择指定的自动标注器，它将根据 model_outputs 和 reference_outputs 计算胜率。这里建议使用 alpaca_eval_gpt4 或 claude。根据不同的标注器，使用者还需要在环境配置中设定 API_KEY。
2024-11-12
怎么训练自己的小说大纲模型
训练自己的小说大纲模型可以参考以下步骤： 步骤一：创建数据集 1. 进入厚德云模型训练数据集，网址为：https://portal.houdeyun.cn/sd/dataset 。 2. 在数据集一栏中，点击右上角创建数据集。 3. 输入数据集名称。 4. 可以上传包含图片+标签的 zip 文件，也可以只有图片没有打标文件（之后可在 c 站使用自动打标功能）。 5. 也可以一张一张单独上传照片，但建议提前把图片和标签打包成 zip 上传。 6. Zip 文件里图片名称与标签文件应当匹配，例如：图片名“1.png”，对应的达标文件就叫“1.txt”。 7. 上传 zip 以后等待一段时间。 8. 确认创建数据集，返回到上一个页面，等待一段时间后上传成功，可以点击详情检查，可预览到数据集的图片以及对应的标签。 步骤二：Lora 训练 1. 点击 Flux，基础模型会默认是 FLUX 1.0D 版本。 2. 选择数据集，点击右侧箭头，会跳出所有上传过的数据集。 3. 触发词可有可无，取决于数据集是否有触发词。 4. 模型效果预览提示词则随机抽取一个数据集中的标签填入即可。 5. 训练参数这里可以调节重复次数与训练轮数，厚德云会自动计算训练步数。如果不知道如何设置，可以默认 20 重复次数和 10 轮训练轮数。 6. 可以按需求选择是否加速，点击开始训练，会显示所需要消耗的算力。 7. 然后等待训练，会显示预览时间和进度条。训练完成的会显示出每一轮的预览图。 8. 鼠标悬浮到想要的轮次模型，中间会有个生图，点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。 步骤三：Lora 生图 1. 点击预览模型中间的生图会自动跳转到这个页面。 2. 模型上的数字代表模型强度，可以调节大小，正常默认为 0.8，建议在 0.6 1.0 之间调节。 3. 也可以自己添加 lora 文件，点击后会显示训练过的所有 lora 的所有轮次。 4. VAE 不需要替换。 5. 正向提示词输入写的提示词，可以选择基于这个提示词一次性生成几张图。 6. 选择生成图片的尺寸，横板、竖版、正方形。 7. 采样器和调度器新手小白可以默认不换。 8. 迭代步数可以按照需求在 20 30 之间调整。 9. CFG 可以按照需求在 3.5 7.5 之间调整。 10. 随机种子 1 代表随机生成图。 11. 所有设置都好了以后，点击开始生态，生成的图会显示在右侧。 12. 如果有哪次生成结果觉得很不错，想要微调或者高分辨率修复，可以点开那张图，往下滑，划到随机种子，复制下来，粘贴到随机种子这里，这样下次生成的图就会和这次的结果近似。 13. 如果确认了一张很合适的种子和参数，想要高清放大，则点开高清修复，可以选择想放大的倍数。新手小白可以就默认这个算法，迭代步数也是建议在 20 30 之间，重回幅度根据需求调整，正常来说在 0.3 0.7 之间调整。 今日作业 按照比赛要求，收集六个主题中一个主题的素材并且训练出 lora 模型后提交 lora 模型与案例图像。提交链接:https://waytoagi.feishu.cn/share/base/form/shrcnpJAtTjID7cIcNsWB79XMEd 。 另外，直接在 Comfy UI 中训练 LoRA 模型的步骤如下： 1. 确保后面有一个空格。然后将 requirements_win.txt 文件拖到命令提示符中（如果在 Windows 上；否则，选择另一个文件 requirements.txt）。拖动文件将在命令提示符中复制其路径。 2. 按 Enter 键，这将安装所有所需的依赖项，使其与 ComfyUI 兼容。请注意，如果为 Comfy 使用了虚拟环境，必须首先激活它。 3. 教程： 图像必须放在一个以命名的文件夹中。那个数字很重要：LoRA 脚本使用它来创建一些步骤（称为优化步骤…但别问我是什么^^’）。它应该很小，比如 5。然后，下划线是必须的。 对于 data_path，必须写入包含数据库文件夹的文件夹路径。例如：C:\\database\\5_myimages ，必须写 C:\\database 。 对于参数，在第一行，可以从 checkpoint 文件夹中选择任何模型。据说必须选择一个基本模型进行 LoRA 训练。但也可以尝试使用微调。
2024-11-12
AI训练师是什么职业
AI 训练师是一种新兴职业，其职责和工作内容因具体领域和应用场景而有所不同。 例如，在 AI 教育培训和商业应用方面，像星动 AI 联合创始人李先森所从事的工作，可能包括对学员进行 AI 相关知识和技能的培训，以及参与 AI 项目的测评和指导等。 在 AI 设计领域，AI 训练师可能需要负责 AI 风格的开发和调试工作，参与项目的整体风格和审美定义。根据产品需求完成风格渲染的研发、测试、配置和维护，熟练使用 StableDiffusion Web UI 等 AI 框架进行风格研发，负责 AI 模型（如 LoRA，Prompt/Prompt Sentence）的训练、参数调整以及性能优化，编写高质量的渲染记录文档，进行配置和模型训练质量控制，并为团队提供技术支持和指导，解决技术难题。 总之，AI 训练师需要具备相关的专业知识和技能，以帮助 AI 系统更好地学习和优化，从而实现各种应用目标。
2024-11-11
多轮对话训练中你如何训练模型掌握情感需求
在多轮对话训练中，让模型掌握情感需求可以通过以下几种方式： 1. 利用相关数据集进行训练，例如： Guanaco：地址为，是一个使用 SelfInstruct 的主要包含中日英德的多语言指令微调数据集。 chatgptcorpus：地址为，开源了由 ChatGPT3.5 生成的 300 万自问自答数据，包括多个领域，可用于训练大模型。 SmileConv：地址为，数据集通过 ChatGPT 改写真实的心理互助 QA 为多轮的心理健康支持多轮对话，含有 56k 个多轮对话，其对话主题、词汇和篇章语义更加丰富多样，更符合长程多轮对话的应用场景。 2. 在创建提示时采用结构化模式，为模型提供一些情感需求的示例，如： |输入|输出| ||| |一部制作精良且有趣的电影|积极的| |10 分钟后我睡着了|消极的| |电影还行|中性的| 然后单击页面右侧的提交按钮。该模型现在可为输入文本提供情绪。还可以保存新设计的提示。 3. 在多轮次对话中，定期总结关键信息，重申对话的目标和指令，有助于模型刷新记忆，确保准确把握对话的进展和要点。 4. 进行意图识别和分类，特别关注在单一模型或情境中处理多个小逻辑分支的情况。例如在客户服务场景中，快速确定用户提出咨询、投诉、建议等多种类型请求的意图，并分类到相应处理流程中。
2024-11-11
在车载语音多轮对话训练中你如何训练模型掌握情感需求
目前知识库中暂时没有关于在车载语音多轮对话训练中如何训练模型掌握情感需求的相关内容。但一般来说，要训练模型掌握情感需求，可以从以下几个方面考虑： 1. 数据收集：收集包含丰富情感表达的车载语音对话数据，包括不同情感状态下的语音样本和对应的文本描述。 2. 特征提取：从语音和文本数据中提取能够反映情感的特征，如语音的语调、语速、音量，文本中的词汇、句式、语义等。 3. 模型选择：选择适合处理情感分析任务的模型架构，如基于深度学习的循环神经网络（RNN）、长短时记忆网络（LSTM）或门控循环单元（GRU）等。 4. 情感标注：对收集的数据进行准确的情感标注，以便模型学习不同情感的模式。 5. 多模态融合：结合语音和文本等多模态信息，提高情感识别的准确性。 6. 优化算法：采用合适的优化算法来训练模型，调整模型的参数，以提高模型的性能。 7. 模型评估：使用合适的评估指标来评估模型在情感需求掌握方面的性能，并根据评估结果进行调整和改进。
2024-11-11
摘要总结作为 llm 训练的下游任务，一般的训练流程是怎样的
作为 LLM 训练的下游任务，一般的训练流程如下： 1. 首先从大量文本数据中训练出一个基础 LLM。 2. 随后使用指令和良好尝试的输入和输出来对基础 LLM 进行微调和优化。 3. 接着通常使用称为“人类反馈强化学习”的技术进行进一步细化，以使系统更能够有帮助且能够遵循指令。 在训练过程中，会涉及到一些相关的理论探讨和评价指标： 理论探讨方面，如在推理阶段对 InContext Learning 能力的运行分析，将其视为隐式微调，通过前向计算生成元梯度并通过注意力机制执行梯度下降，且实验表明 LLM 中的某些注意力头能执行与任务相关的操作。 评价指标方面，entropylike 指标（如 crossentropy 指标）常用于表征模型的收敛情况和测试集的简单评估（如 Perplexity 指标），但对于复杂的下游应用，还需更多指标，如正确性（Accuracy）、信息检索任务中的 NDCG@K 指标、摘要任务中的 ROUGE 指标、文本生成任务中的 BitsperByte 指标、不确定性中的 ECE 指标、鲁棒性（包括 invariance 和 equivariance）、公平性、偏见程度和有毒性等。
2024-11-07