Fine-Tuning是什么，如何评估一个Fine-Tuning的大赛

Finetuning（微调）是一种迁移学习技术，常用于深度学习中。其基本思路是先有一个在大量数据上预训练过的模型，该模型已学会一些基本模式和结构，如在自然语言处理中学会基本语法和单词语义，在图像识别中学会识别基本形状和纹理。然后在特定任务数据上继续训练该模型，使其适应新的任务。 以下是两个例子帮助理解： 情感分类：先使用大量语料库预训练模型，再用标注过的电影评论（部分积极，部分消极）继续训练，使其学会判断评论情感。 图像分类：先使用大量图片（如 ImageNet 数据集）预训练模型，再用标注过的猫和狗的图片继续训练，使其学会区分猫和狗。 微调的优点是能利用预训练模型学到的知识，提高在特定任务上的性能。它可以为应用程序定制模型，带来比即时设计更高质量的结果、能训练更多例子、节省 Token、降低延迟请求等好处。 微调目前仅适用于以下基础模型：davinci、curie、babbage 和 ada。 在高层次上，微调涉及以下步骤： 1. 准备和上传训练数据。 2. 训练新的微调模型。 3. 使用微调模型。 微调还涉及超参数的配置，默认超参数适用于一系列用例，但调整超参数通常能产生更高质量输出的模型。需要配置的超参数包括： model：要微调的基本模型的名称，可选择“ada”“babbage”“curie”或“davinci”之一。 n_epochs：默认为 4，指训练模型的时期数，一个纪元是训练数据集的一个完整周期。 batch_size：默认为训练集中示例数量的 0.2%，上限为 256，是用于训练单个正向和反向传递的训练示例数。 learning_rate_multiplier：默认为 0.05、0.1 或 0.2，取决于 final batch_size，微调学习率是用于预训练的原始学习率乘以该乘数。 compute_classification_metrics：默认为假，若为 True，为对分类任务进行微调，在每个 epoch 结束时在验证集上计算特定于分类的指标（准确性、F1 分数等）。 要配置这些额外的超参数，可通过 OpenAI CLI 上的命令行标志传递。

Finetuning，也叫做微调，是一种迁移学习技术，常用于深度学习中。这种方法的基本思路是：首先，我们有一个预训练的模型，这个模型已经在大量的数据上训练过，已经学会了一些基本的模式和结构。然后，我们再在特定的任务数据上继续训练这个模型，使其适应新的任务，这就是所谓的"finetuning"。

对 RAG 进行评估可以从以下几个方面入手： 1. 使用 RAG 三角形的评估方法： 在 LangChain 中创建 RAG 对象，使用 RAGPromptTemplate 作为提示模板，指定检索系统和知识库的参数。 在 TruLens 中创建 TruChain 对象，包装 RAG 对象，指定反馈函数和应用 ID。反馈函数可使用 TruLens 提供的 f_context_relevance、f_groundness、f_answer_relevance，也可自定义。 使用 with 语句运行 RAG 对象，记录反馈数据，包括输入问题、得到的回答以及检索出的文档。 查看和分析反馈数据，根据 RAG 三角形的评估指标评价 RAG 的表现。 2. 建立评估框架将检索性能与整个 LLM 应用程序隔离开来，从以下角度评估： 模型角度（generation）： 回答真实性：模型结果的真实性高低（减少模型幻觉）。 回答相关度：结果和问题的相关程度，避免南辕北辙。 检索角度（retrieval）： 召回率（recall）：相关信息在返回的检索内容中的包含程度，越全越好。 准确率（precision）：返回的检索内容中有用信息的占比，越多越好。 3. 考虑以下评估方法和指标： 生成质量评估：常用自动评估指标（如 BLEU、ROUGE 等）、人工评估和事实验证，衡量生成文本的流畅性、准确性和相关性。 检索效果评估：包括检索的准确性、召回率和效率，其好坏直接影响生成文本的质量。 用户满意度评估：通过用户调查、用户反馈和用户交互数据了解用户对 RAG 系统的满意度和体验。 多模态评估：对于生成多模态内容的 RAG 系统，评估不同模态之间的一致性和相关性，可通过多模态评估指标实现。 实时性评估：对于需要实时更新的 RAG 任务，考虑信息更新的及时性和效率。 基准测试集：使用基准测试集进行实验和比较不同的 RAG 系统，涵盖多样化的任务和查询，以适应不同的应用场景。 评估方法和指标的选择取决于具体的任务和应用场景，综合使用多种评估方法可更全面地了解 RAG 系统的性能和效果，评估结果能指导系统的改进和优化，满足用户需求。此外，RAGAS 是一个用于 RAG 评估的知名开源库，可参考使用： 。需要注意的是，RAG 适合打造专才，不适合打造通才，且存在一定局限性，如在提供通用领域知识方面表现不佳，可能影响模型的风格或结构输出、增加 token 消耗等，部分问题需使用微调技术解决。

评估提示词的效果可以从以下几个方面进行： 1. 模型的准确率：观察模型生成的回答与预期结果的匹配程度。 2. 流畅度：检查生成的文本在语言表达上是否通顺、自然。 3. 相关性：判断生成的内容与提示词所表达的意图和需求的关联程度。 提示词工程师在评估提示词效果时，通常会采取以下步骤和方法： 1. 设计提示：根据用户需求和模型能力，精心考虑提示的长度、结构、措辞和信息量等因素，以清晰传达用户意图。 2. 优化提示：通过收集用户反馈、分析模型结果和实验不同的提示策略等方式，不断改进提示。 3. 实际测试：包括对基础提示词模板的测试，确保其能兼容国内外各种模型，并生成拟人化的提示词，然后将其应用于不同模型中评估实际应用效果和适应性。 此外，提示工程有几项核心原则： 1. 编写清晰的指令。 2. 将复杂任务分解为简单任务。 3. 给模型一定的时间空间思考。 4. 系统地测试性能变化。 要提高提示技巧，应多学习和实践。同时，可以参考大模型厂商的提示工程指南，以及 LangGPT 结构化提示词知识库中的相关资料，如：

以下是知识库里与“评估”相关的内容： 提示工程： 评估程序在优化系统设计时很有用。好的评估程序需要具备以下特点： 具有代表性：能够代表真实世界的使用场景，或者至少包含多样化的测试用例。 样本量充足：拥有足够的测试用例，以保证统计结果的可靠性。 易于自动化：可以自动运行或重复执行。 评估工作可以由计算机、人类或两者协作完成。计算机可以使用客观标准以及一些主观或模糊标准自动执行评估，其中模型输出由其他模型查询评估。是一个开源软件框架，提供了创建自动评估程序的工具。 基于模型的评估在评估具有多种可能答案的问题时非常有用，模型可以根据预定义的标准对不同的答案进行评分，帮助我们选择最佳答案。可以用模型进行评估和需要人工评估之间的界限是模糊的，并且随着模型变得越来越强大而不断变化。 OpenAI 官方指南： 评估程序（或称为“Evals”）对于优化系统设计非常有用。良好的评估： 代表现实世界的使用（或至少是多样化的）。 包含许多测试用例以获得更大的统计能力。 易于自动化或重复。 输出的评估可以由计算机、人类或混合来完成。计算机可以使用客观标准以及一些主观或模糊标准来自动评估，其中模型输出由其他模型查询评估。是一个开源软件框架，提供用于创建自动评估的工具。 当存在一系列可能被认为质量相同的输出时，基于模型的评估可能很有用。使用基于模型的评估可以实际评估的内容与需要人工评估的内容之间的界限是模糊的，并且随着模型变得更强大而不断变化。 Gemini 报告： 为了评估 Gemini 模型在政策领域和其他在影响评估中确定的关键风险领域中的表现，在模型开发的整个生命周期中开展了一系列评估。 在训练和优化 Gemini 模型过程中，会进行开发评估以进行“hillclimbing”。这些评估是由 Gemini 团队设计的，或者是针对外部学术基准的评估。评估考虑诸如有用性（指令遵循和创造力）、安全性和事实性等问题。 保证评估是为了治理和审查而进行的，通常在关键里程碑或培训运行结束时由模型开发团队之外的团队进行。保证评估按照模态进行标准化，数据集严格保密。只有高层次的见解被反馈到训练过程中，以协助缓解工作。保证评估包括对 Gemini 政策的测试，并包括对潜在生物危害、说服力和网络安全等危险能力的持续测试。 外部评估由谷歌之外的合作伙伴进行，以发现盲点。外部团体对模型进行了一系列问题的压力测试，包括白宫承诺书中列出的领域，测试通过结构化评估和非结构化的红队测试进行。这些评估的设计是独立的，并且结果定期报告给 Google DeepMind 团队。

以下是一个关于自动化 RAG bot 测试评估工作流的参考方案： 首先，对于 RAG bot 的工作流，主要包括以下关键步骤： 1. 开始节点：接收用户选择的小说人物角色名称或向小说人物角色提问的问题。 2. 知识库节点：将输入的角色名称或问题作为查询，在知识库中检索该角色的性格特点、经典台词或相关的上下文信息。 3. 大模型节点：让大模型对检索到的信息进行筛选和处理，并以特定格式（如 JSON 格式）输出结果，或者根据问题和检索到的上下文信息生成答案。 4. 代码节点：对上游输入的数据进行规整和格式化输出。 5. Text2Image 节点：引用上一步输出的用于描述人物性格和特点的特征，作为提示生成人物的角色照。 6. 结束节点：输出人物台词、角色照或答案。 要实现自动化测试评估工作流，可以考虑以下几个方面： 1. 制定明确的测试用例：包括各种类型的输入，如不同的角色名称、问题类型和复杂程度等，以全面覆盖各种可能的情况。 2. 建立监控机制：实时监测工作流中各个节点的运行状态、数据传输和处理时间等关键指标。 3. 数据验证：在每个节点的输出端，验证数据的准确性、完整性和格式的正确性。 4. 性能评估：分析工作流的整体性能，如响应时间、资源利用率等，以优化工作流的效率。 5. 错误处理和恢复测试：模拟各种可能的错误情况，测试工作流的错误处理和恢复能力。 6. 定期回归测试：确保工作流在经过修改或优化后，仍然能够正常运行并满足预期。 通过以上的步骤和方法，可以有效地实现 RAG bot 测试评估工作流的自动化，提高其可靠性和性能。

大模型评估是当前热门领域，以下是一些常见的评估方法和相关资源： 测试问题类型： 检索和归纳。 推理性。 有日期相关历史事件等。 专业测评网站： https://lmsys.org/blog/20230503arena/ （系统自带翻译不太友好，可点进去仔细阅读）。 中文语言理解测评基准：https://www.cluebenchmarks.com/index.html ，介绍：https://mp.weixin.qq.com/s/6CDnyvMsEXtmsJ9CEUn2Vw 。 斯坦福团队的 AlpacaEval：项目链接：https://github.com/tatsulab/alpaca_eval ，排行榜链接：https://tatsulab.github.io/alpaca_eval/ 。 FlagEval（天秤）大模型评测体系及开放平台：地址：https://github.com/FlagOpen/FlagEval ，简介：旨在建立科学、公正、开放的评测基准、方法、工具集，协助研究人员全方位评估基础模型及训练算法的性能，同时探索利用 AI 方法实现对主观评测的辅助，大幅提升评测的效率和客观性。FlagEval（天秤）创新构建了“能力任务指标”三维评测框架，细粒度刻画基础模型的认知能力边界，可视化呈现评测结果。 CEval：地址：https://github.com/SJTULIT/ceval ，简介：构造了一个覆盖人文，社科，理工，其他专业四个大方向，52 个学科（微积分，线代…），从中学到大学研究生以及职业考试，一共 13948 道题目的中文知识和推理型测试集。此外还给出了当前主流中文 LLM 的评测结果。 SuperCLUElyb：地址：https://github.com/CLUEbenchmark/SuperCLUElyb ，简介：中文通用大模型匿名对战评价基准，这是一个中文通用大模型对战评价基准，它以众包的方式提供匿名、随机的对战。他们发布了初步的结果和基于 Elo 评级系统的排行榜。 对比不同大语言模型性能的方法： 自定义任务：根据特定需求设计任务，以评估模型在特定领域的表现。 人类评估：结合人类评估者的主观评价，特别是在评估文本质量和伦理问题时。 A/B 测试：在实际应用场景中，通过 A/B 测试比较不同模型的表现。 性能指标：使用包括准确率、召回率、F1 分数、BLEU 分数等在内的性能指标来量化比较。 请注意，以上内容由 AI 大模型生成，请仔细甄别。

以下为结合大疆服务业务设计的两个 AI 应用落地场景： 场景一：无人机故障预测与维护 AI 发挥的作用： 通过对无人机飞行数据、传感器数据和零部件使用情况的分析，预测可能出现的故障。 与业务场景的耦合： 与大疆的售后服务系统集成，实时获取无人机的运行数据。利用机器学习算法建立故障预测模型，提前通知用户进行维护保养，减少因故障导致的飞行事故和损失。 落地效果评估： 1. 降低无人机故障率，通过对比使用 AI 预测维护前后的故障发生频率来评估。 2. 提高用户满意度，通过用户反馈和满意度调查来衡量。 3. 减少维修成本，统计维修费用和零部件更换成本的变化。 场景二：个性化飞行方案推荐 AI 发挥的作用： 根据用户的飞行历史、偏好、地理环境等因素，为用户生成个性化的飞行方案。 与业务场景的耦合： 在大疆的应用程序中，用户输入相关信息后，AI 系统自动分析并推荐合适的飞行路线、拍摄角度、飞行速度等。 落地效果评估： 1. 增加用户飞行活跃度，通过统计用户的飞行次数和时长来评估。 2. 提升用户对推荐方案的采纳率，通过用户实际采用推荐方案的比例来衡量。 3. 促进产品销售，对比使用个性化推荐功能前后的产品销售数据。