Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

模型评测

Answer

以下是关于模型评测的相关内容：

  • Llama2 模型评测：为了解其中文问答能力，筛选了具有代表性的中文问题进行提问，测试了 Meta 公开的 Llama2-7B-Chat 和 Llama2-13B-Chat 两个版本，未做任何微调和训练。测试问题涵盖通用知识、语言理解等八个类别，使用特定 Prompt，测试结果见相应文档。通过测试发现，该模型对于中文问答的对齐效果一般，基于中文数据的训练和微调十分必要。
  • LORA 模型训练超入门级教程中的模型测试：最后从炼丹炉内取最小值的模型为最佳，在 Output 文件夹下取出模型。可用 Stable Diffusion 的 xyz 图表脚本来测试不同权重下 Lora 的表现，包括选择 x 轴、y 轴类型等操作。
  • 斯坦福发布大模型排行榜 AlpacaEval：相对于人工标注，全自动化的 AlpacaEval 经济成本和时间成本低。还探讨了什么评估数据能最好地区分模型，以及 AlpacaEval 支持两种模式的模型评估方式，评测过程分为三步，包括选择评估集、计算输出等，并建议使用特定的自动标注器。
Content generated by AI large model, please carefully verify (powered by aily)

References

模型评测

为了能够更加清晰地了解Llama2模型的中文问答能力，我们筛选了一些具有代表性的中文问题，对Llama2模型进行提问。我们测试的模型包含Meta公开的Llama2-7B-Chat和Llama2-13B-Chat两个版本，没有做任何微调和训练。测试问题筛选自AtomBulb，共95个测试问题，包含：通用知识、语言理解、创作能力、逻辑推理、代码编程、工作技能、使用工具、人格特征八个大的类别。测试中使用的Prompt如下，例如对于问题“列出5种可以改善睡眠质量的方法”：Llama2-7B-Chat的测试结果见meta_eval_7B.md，Llama2-13B-Chat的测试结果见meta_eval_13B.md。通过测试我们发现，Meta原始的Llama2 Chat模型对于中文问答的对齐效果一般，大部分情况下都不能给出中文回答，或者是中英文混杂的形式。因此，基于中文数据对Llama2模型进行训练和微调十分必要。

《LORA模型训练超入门级教程》--人人都可以当炼金术士

最后从炼丹炉内取最小值的模型为最佳，没有效果再选取最终生成的版本。在Output文件夹下取出模型[heading2]Xyz图表测试[content]用Stable Diffusion的xyz图表脚本来测试不同权重下Lora的表现Xyz图表测试打开美术风格，选择脚本XYZ图表：1.x轴类型选择[可附加网络]权重1 x轴值：写你想测试的Lora权重即可。2.Y轴类型选择[可附加网络]模型1 Y轴值：填你你想测试的Lora模型名称。3.Z轴类型选不选都可以。*没有可选附加网络的请在插件列表里面安装[heading1]总结：[content]到这里就结束了~最后感谢大家观看本次教程，理论都是基础实际效果还是需要实践验证。第一次写教程（其实更偏学习过程中的总结），写的如果不好请轻喷，如有更好的见解欢迎在评论区讨论，我也还在摸索阶段也在更深入的学习训练模型知识。[heading1]成品图分享：[content]各位游戏人好，我们是LitGate，致力于发展AI+游戏创作的社区，这是我们第一版的wiki知识库，除了一些AI创作实操案例，也有一些的AI游戏创意demo，大家感兴趣的可以一起来讨论！本次的AI主题Gamejam游戏赛事，我们将作为本次大赛的合作社区进行支持，提供系列游戏从业者嘉宾、工具、经验指导。除了48小时GameJam极限开发挑战外，还会带来多场AI×游戏专题直播等活动。未来我们会更多聚焦AI产品、工具，在游戏生产管线应用和创意突破上实践，也非常欢迎各位朋友加入我们！可以多多关注我们公众号和知识库~

斯坦福发布大模型排行榜AlpacaEval

图注：人类一致性：标注者与交叉标注集中人类多数票之间的一致性。价格：每1000个标注的平均价格。时间：计算1000个标注所需的平均时间。相对于人工标注，全自动化的AlpacaEval仅需花费约1/22的经济成本和1/25的时间成本。另外，还有一个关键问题：什么评估数据可以最好地区分模型。团队从统计角度出发，在AlpacaEval的所有子集上检验这个问题。下图显示了AlpacaEval每个子集的80个实例上每对模型的配对t检验的p值。例如，我们看到Self-Instruct数据集产生的统计能力最小，这表明可以从评估集中删除该数据集。图注：不同基准评估数据集的质量02如何使用AlpacaEval评估模型AlpacaEval支持两种模式的模型评估方式：alpaca_eval：直接根据目标模型输出的响应来评估模型。alpaca_eval evaluate_from_model：根据HuggingFace已注册模型或这API提供商来端到端评测模型。评测过程分为以下3步：1.选择一个评估集，并计算指定为model_outputs的输出。默认情况下，我们使用来自AlpacaEval的805个示例。Copy1.计算golden输出reference_outputs。默认情况下，在AlpacaEval上使用text-davinci-003的输出。2.通过annotators_config选择指定的自动标注器，它将根据model_outputs和reference_outputs计算胜率。这里建议使用alpaca_eval_gpt4或claude。根据不同的标注器，使用者还需要在环境配置中设定API_KEY。

Others are asking
大模型评测
以下是关于大模型评测的相关信息： FlagEval（天秤）大模型评测体系及开放平台： 地址： 简介：旨在建立科学、公正、开放的评测基准、方法、工具集，协助研究人员全方位评估基础模型及训练算法的性能，同时探索利用 AI 方法实现对主观评测的辅助，大幅提升评测的效率和客观性。创新构建了“能力任务指标”三维评测框架，细粒度刻画基础模型的认知能力边界，可视化呈现评测结果。 CEval：构造中文大模型的知识评估基准： 地址： 简介：构造了一个覆盖人文，社科，理工，其他专业四个大方向，52 个学科（微积分，线代…），从中学到大学研究生以及职业考试，一共 13948 道题目的中文知识和推理型测试集。此外还给出了当前主流中文 LLM 的评测结果。 SuperCLUElyb：SuperCLUE 琅琊榜 地址： 简介：中文通用大模型匿名对战评价基准，这是一个中文通用大模型对战评价基准，它以众包的方式提供匿名、随机的对战。他们发布了初步的结果和基于 Elo 评级系统的排行榜。 此外，还有小七姐对文心一言 4.0、智谱清言、KimiChat 的小样本测评，测评机制包括： 测评目标：测评三家国产大模型，以同组提示词下 ChatGPT 4.0 生成的内容做对标参照。 能力考量：复杂提示词理解和执行（结构化提示词）、推理能力（CoT 表现）、文本生成能力（写作要求执行）、提示词设计能力（让模型设计提示词）、长文本归纳总结能力（论文阅读）。 测评轮次：第一轮是复杂提示词理解和执行，包括 Markdown+英文 title 提示词测试、Markdown+中文 title 提示词测试、中文 title+自然段落提示词测试；第二轮是推理能力（CoT 表现）；第三轮是文本生成能力（写作要求执行）；第四轮是提示词设计能力（让模型设计提示词）；第五轮是长文本归纳总结能力（论文阅读）。 测试大模型质量好坏时，常用的问题包括检索和归纳、推理性、有日期相关历史事件等。以下是几个专业做模型测评的网站：
2025-02-17
大模型评测
以下是关于大模型评测的相关信息： 招聘信息：有大模型算法工程师/产品经理（实习）岗位在北京，工作包括大模型效果评测，要求研究生及以上学历，相关专业优先，有相关实习经验、代码能力强等。 开源评测体系及平台： FlagEval（天秤）：旨在建立科学、公正、开放的评测基准、方法、工具集，创新构建了“能力任务指标”三维评测框架。 CEval：构造了覆盖多学科的中文知识和推理型测试集，并给出主流中文 LLM 的评测结果。 SuperCLUElyb：中文通用大模型匿名对战评价基准，发布了初步结果和基于 Elo 评级系统的排行榜。 测评示例：小七姐对文心一言 4.0、智谱清言、KimiChat 进行小样本测评，包括测评机制、目标、能力考量和多轮测评任务，如复杂提示词理解和执行、推理能力、文本生成能力、提示词设计能力、长文本归纳总结能力等，每轮测评都有不同的任务和模型参与。
2025-01-14
superclue 在国内的评测里面什么地位，国外对标的评测是什么
在国内的评测中，SuperCLUE 是大模型时代 CLUE 基准的发展和延续，聚焦于通用大模型的综合性测评。在 SuperCLUE 测评中，国外模型的平均成绩为 69.42 分，国内模型平均成绩为 65.95 分，差距在 4 分左右。国内外的平均水平差距在缩小，11 月差距在 10 分左右。 SuperCLUE 是中文语言理解测评基准 CLUE 的发展，发起于 2019 年，陆续推出了多种广为引用的测评基准。它根据多年的测评经验，构建了多层次、多维度的综合性测评基准。SuperCLUE 始终秉持中立、客观的第三方测评理念，采用自动化方式的客观评估，降低评测过程中的人为评估的不确定性。 国外对标的评测没有明确提及。
2025-01-07
帮我查一下这四家主流大模型的应用能力评测报告吧，通用能力和单项能力都可，数据需要权威一些文心一言 文心一格 通义千问 通义万相 讯飞星火 ai小科 智谱
以下是为您找到的关于主流大模型应用能力评测的相关报告： 小七姐的测评： 测评机制：以同组提示词下 ChatGPT 4.0 生成的内容做对标参照，对智谱清言、文心一言 4.0、Kimi Chat 进行测评。 能力考量：包括复杂提示词理解和执行（结构化提示词）、推理能力（CoT 表现）、文本生成能力（写作要求执行）、提示词设计能力（让模型设计提示词）、长文本归纳总结能力（论文阅读）。 测评轮次：共分为五轮，分别针对不同的任务和模型进行多次测试。 中文大模型基准测评 2023 年度报告： 优秀模型：文心一言 4.0 API（百度）。 模型特点：在计算、逻辑推理、生成与创作、传统安全这 4 大基础能力上排名国内第一，在代码、知识与百科、语言理解与抽取、工具使用能力上排名国内前三，各项能力表现均衡且水平较高。 适合应用：能力栈广泛，可应用于查询搜索知识应用、任务拆解规划 Agent、文案写作、代码编写及纠错等方面，在逻辑推理方面表现不俗，可关注在科学研究、教育、工业方面的落地能力。 观点文章中的测评： 目前体验效果比较好的有科大星火模型、清华 ChatGLM、百度文心一言。 星火目前感觉最接近 GPT3.5（0301 版本）的 80%90%，但 GPT3.5 进化到 6 月版本效果更强。 对大模型的评估可从基础能力、职场能力、探索对话三个方面判断，基础能力包括语言（文本）生成和语言理解，如常识类问题和分词类问题。
2024-12-27
评测模型生图好坏的标准
评测模型生图好坏的标准主要包括以下几个方面： 1. 模型选择： 基础模型（Checkpoint）：生图必需，不同模型适用于不同主题。 Lora：低阶自适应模型，可用于精细控制面部、材质、物品等细节。 ControlNet：控制图片中特定图像，如人物姿态、生成特定文字等。 VAE：类似于滤镜，可调整生图饱和度。 2. 提示词设置： 正向提示词（Prompt）：描述想要 AI 生成的内容。 负向提示词（Negative Prompt）：描述想要 AI 避免产生的内容。 3. 图片视觉质量： 自然度和美观度是关键指标。 可从数据和训练方法两方面提升，如使用特定的网络结构。 4. 文字生成能力： 目前未有模型具有良好的中文文字生成能力。 提升中文文字生成能力需从多方面准备数据。 需要注意的是，模型生图的效果并非完全由这些标准决定，还可能受到其他因素的影响，需要不断尝试和学习以获得更好的生图效果。
2024-12-26
多模图生文评测集
以下是关于多模图生文评测集的相关信息： 为全面比较 Kolors 与其他模型的生成能力，构建了包含人工评估、机器评估的全面评测内容。构建了包含 14 种垂类、12 个挑战项、总数量为一千多个 prompt 的文生图评估集 KolorsPrompts。在 KolorsPrompts 上，收集了 Kolors 与市面上常见的 SOTA 级别的开源/闭源系统的文生图结果，并进行了人工评测和机器评测。 人工评测方面，邀请了 50 个具有图像领域知识的专业评估人员对不同模型的生成结果进行对比评估，衡量维度为画面质量、图文相关性、整体满意度三个方面。Kolors 在整体满意度方面处于最优水平，其中画面质量显著领先其他模型。具体的平均分数如下： AdobeFirefly：整体满意度平均分 3.03，画面质量平均分 3.46，图文相关性平均分 3.84。 Stable Diffusion 3：整体满意度平均分 3.26，画面质量平均分 3.5，图文相关性平均分 4.2。 DALLE 3：整体满意度平均分 3.32，画面质量平均分 3.54，图文相关性平均分 4.22。 Midjourneyv5：整体满意度平均分 3.32，画面质量平均分 3.68，图文相关性平均分 4.02。 Playgroundv2.5：整体满意度平均分 3.37，画面质量平均分 3.73，图文相关性平均分 4.04。 Midjourneyv6：整体满意度平均分 3.58，画面质量平均分 3.92，图文相关性平均分 4.18。 Kolors：整体满意度平均分 3.59，画面质量平均分 3.99，图文相关性平均分 4.17。所有模型结果取自 2024.04 的产品版本。 Kolors 开源模型相关： 2024.07.03，Kolors 在智源研究院评测中取得第二名，其中中文主观质量、英文主观质量两个单项排名第一。 2024.07.02，祝贺，可图项目组提出的可控视频生成方法被 ECCV 2024 接收。 2024.02.08，祝贺，可图项目组提出的生成模型评估方法被 CVPR 2024 接收。 多模态大模型入门指南： 训练过程： 预训练阶段：通常利用 XText 的数据集，来训练输入、输出的 Projector。通过优化损失函数来实现不同模态的对齐。PEFT 有时候用于 LLM Backbone。X文本数据集包含图像文本、视频文本和音频文本，其中图像文本有两种类型：图像文本对（即<img1><txt1>）和交错图像文本语料库（即，txt1><img1><txt2><txt3><img2><txt4>）。这些 XText 数据集的详细统计数据如附录 F 的表 3 所示。 多模态微调：对满足指令微调格式的一系列数据集对预训练好的多模态大模型进行微调。通过这种微调，MMLLM 可以遵循新的指令泛化到没有见过的任务，增强 zeroshot 的能力。MM IT 包括监督微调（SFT）和 RLHF 两部分，目的是为了使得模型符合人类的意图或者偏好，并且增强 MMLLMs 的交互能力。SFT 将 PT 阶段的数据转换为指令aware 的格式，使用 QA 任务作为例子。可以采用各种模板。优化目标和预训练相同，SFT 数据可以构造为单轮的 QA 或者多轮的 QA。常用的 SFT 和 RLHF 的数据集见表 4。
2024-12-06
现在市面上的AI大模型
以下是关于市面上的 AI 大模型的相关知识： 1. 概念：生成式 AI 生成的内容称为 AIGC。 2. 概念与关系： AI 即人工智能。 机器学习是电脑找规律学习，包括监督学习、无监督学习、强化学习。 监督学习使用有标签的训练数据，目标是学习输入和输出之间的映射关系，包括分类和回归。 无监督学习的数据没有标签，算法自主发现规律，经典任务如聚类。 强化学习从反馈中学习，以最大化奖励或最小化损失，类似训小狗。 深度学习是一种参照人脑有神经网络和神经元的方法（因层数多而称为深度），神经网络可用于监督学习、无监督学习、强化学习。 生成式 AI 可以生成文本、图片、音频、视频等内容形式。 LLM 是大语言模型，对于生成式 AI，生成图像的扩散模型不是大语言模型；对于大语言模型，生成只是其中一个处理任务，如谷歌的 BERT 模型，可用于语义理解（不擅长文本生成），如上下文理解、情感分析、文本分类。 3. 技术里程碑：2017 年 6 月，谷歌团队发表论文《Attention is All You Need》，首次提出 Transformer 模型，它完全基于自注意力机制处理序列数据，不依赖于循环神经网络或卷积神经网络。
2025-02-20
你使用了哪些大模型
以下是关于大模型的相关信息： 大模型的定义：大模型的“大”指用于表达 token 之间关系的参数多，主要是模型中的权重（weight）与偏置（bias），例如 GPT3 拥有 1750 亿参数。以 Transform 为代表的大模型采用自注意力（Selfattention）机制来学习不同 token 之间的依赖关系，生成高质量 embedding。数字化便于计算机处理，为让计算机理解 Token 之间的联系，需把 Token 表示成稠密矩阵向量，这个过程称为 embedding，常见算法有基于统计的 Word2Vec、GloVe，基于深度网络的 CNN、RNN/LSTM，基于神经网络的 BERT、Doc2Vec 等。 国内部分大模型： 北京：百度（文心一言）https://wenxin.baidu.com 、抖音（云雀大模型）https://www.doubao.com 、智谱 AI（GLM 大模型）https://chatglm.cn 、中科院（紫东太初大模型）https://xihe.mindspore.cn 、百川智能（百川大模型）https://www.baichuanai.com/ 上海：商汤（日日新大模型）https://www.sensetime.com/ 、MiniMax（ABAB 大模型）https://api.minimax.chat 、上海人工智能实验室（书生通用大模型）https://internai.org.cn 部分大模型的特点：在聊天状态下能生成 Markdown 格式的有智谱清言、商量 Sensechat、MiniMax；目前不能进行自然语言交流的有昇思、书生；受限制使用的有 MiniMax；特色功能方面，昇思能生图，MiniMax 能语音合成。 大模型的动手实验：由于作者使用的是 macOS 系统，因此采用 GGML 量化后的模型。比较有名的相关项目有 ggerganov/llama.cpp:Port of Facebook's LLaMA model in C/C++ 中下载模型，3G 到 7G 不等。此外，llama.cpp 还提供了 WebUI 供用户使用，首先启动 server，它默认监听 8080 端口，打开浏览器就可以对话。
2025-02-20
养老场景实时健康监测与风险预警在技术上怎么实现，用AI大模型实现，请给出一个可行的方案
以下是一个利用 AI 大模型实现养老场景实时健康监测与风险预警的可行方案： 首先，需要明确相关的概念和技术名词。AI 即人工智能，机器学习是电脑找规律学习，包括监督学习、无监督学习和强化学习。监督学习是基于有标签的训练数据，学习输入和输出之间的映射关系，包括分类和回归。无监督学习是在无标签数据中自主发现规律，例如聚类。强化学习是从反馈中学习以最大化奖励或最小化损失，类似训小狗。深度学习参照人脑，具有神经网络和神经元，因层数多被称为深度，神经网络可用于多种学习方式。生成式 AI 能生成文本、图片、音频、视频等内容形式，LLM 是大语言模型，生成图像的扩散模型不属于大语言模型，像谷歌的 BERT 模型可用于语义理解，如上下文理解、情感分析、文本分类。 在技术里程碑方面，2017 年 6 月谷歌团队发表的《Attention is All You Need》论文首次提出了 Transformer 模型，其完全基于自注意力机制处理序列数据，不依赖循环神经网络或卷积神经网络。 对于养老场景的实时健康监测与风险预警，可利用传感器收集老人的生理数据，如心率、血压、血糖等。这些数据通过物联网传输到服务器，利用深度学习算法对数据进行分析和处理。例如，使用基于 Transformer 模型的大模型，对历史健康数据和当前实时数据进行学习和分析，建立老人的健康模型。通过与正常健康指标的对比，及时发现异常情况，并结合无监督学习中的聚类算法，对不同健康状况的老人进行分类，以便提供个性化的预警和建议。同时，利用强化学习不断优化模型的预警准确性和及时性。 总之，通过整合传感器数据采集、物联网传输、深度学习算法分析和模型优化等环节，借助 AI 大模型实现养老场景的实时健康监测与风险预警。
2025-02-20
大模型和小模型区别是什么？为什么大模型有幻觉，小模型没有？
大模型和小模型的区别主要体现在以下几个方面： 1. 规模和参数：大模型通常具有更多的参数和更复杂的架构，而小模型相对规模较小。 2. 能力和性能：在处理自然语言等任务时，大模型往往表现出更强的能力，例如更准确的理解和生成能力。 3. 应用场景：大模型适用于通用的、复杂的任务，小模型则更适合特定的、简单的场景。 关于大模型存在幻觉而小模型没有的原因： 1. 工作原理：大模型基于统计模型预测生成内容，通过训练数据猜测下一个输出结果，可能因错误数据导致给出错误答案。 2. 数据局限性：大模型的知识完全源于其训练数据，可能存在过时、不准确或不完整的信息。 3. 不可预测性：大模型的输出结果具有不可预测性，而小模型相对更稳定和可预测。
2025-02-20
大模型讲解
大模型是指输入大量语料，使计算机获得类似人类“思考”能力，能进行文本生成、推理问答、对话、文档摘要等工作。 大模型的训练和使用过程可以用“上学参加工作”来类比： 1. 找学校：训练大模型需要大量计算，GPU 更合适，只有购买得起大量 GPU 的才有资本训练。 2. 确定教材：大模型需要大量数据，几千亿序列（Token）的输入基本是标配。 3. 找老师：选择合适算法让大模型更好理解 Token 之间的关系。 4. 就业指导：为让大模型更好胜任某一行业，需要进行微调（fine tuning）指导。 5. 搬砖：就业指导完成后，进行如翻译、问答等工作，在大模型里称之为推导（infer）。 在 LLM 中，Token 被视为模型处理和生成的文本单位，会被数字化形成词汇表，便于计算机处理。为让计算机理解 Token 之间的联系，还需把 Token 表示成稠密矩阵向量，这个过程称为 embedding，常见算法有基于统计的 Word2Vec、GloVe，基于深度网络的 CNN、RNN/LSTM，基于神经网络的 BERT、Doc2Vec 等。以 Transform 为代表的大模型采用自注意力（Selfattention）机制来学习不同 token 之间的依赖关系，生成高质量 embedding。大模型的“大”在于用于表达 token 之间关系的参数多，主要是模型中的权重（weight）与偏置（bias）。 从整体分层的角度来看，大模型整体架构分为以下几层： 1. 基础层：为大模型提供硬件支撑、数据支持，如 A100、数据服务器等。 2. 数据层：包括静态的知识库和动态的三方数据集。 3. 模型层：有 LLm（大语言模型，如 GPT，一般使用 transformer 算法实现）或多模态模型（如文生图、图生图等模型，训练数据与 llm 不同，用图文或声音等多模态数据集）。 4. 平台层：如大模型的评测体系、langchain 平台等，提供模型与应用间的组成部分。 5. 表现层：即应用层，是用户实际看到的地方。
2025-02-20
生成3d模型可以让模型动起来吗？
生成 3D 模型后是可以让模型动起来的。例如，通过以下工具和流程可以实现： 工具链：Midjourney（生成等距图像）→Trellis（图像转 3D 模型）→Browser Lab（浏览器内 3D 编辑器）。 步骤： 使用 Midjourney 生成等距 3D 场景，提示词示例：3D isometric bedroom with a bed and desk。（DALLE 3 也可测试） 用 Trellis 工具将图像转为 3D 模型（支持 Tripo 3D 等其他工具）。工具地址： 下载生成的 3D 模型（GLB 文件或高斯分布文件），然后导入 Browser Lab 编辑器中进一步编辑。编辑器地址： 结合可灵 AI、Hailuo AI、Runway 等工具可让场景中的人物动起来。 对于文物雕塑上色，可使用 runway 让固有想法的物体变得动态，runway gen3 的 V2V 可以让物体重新建模、重新上色，再把背景上个色，传到剪映，加上 BGM。 先上传图片，运用提示词，只要让物体动起来就行，一次可能不成功，可以多次抽卡（分够的话）。 生成好的视频的左下方，点击“Reuse”，再点击上方出现的“Video to Video”，视频就会跳转到我们的工作台。 再在下方输入提示词“3D modeling with vibrant colors”等待生成。 再重复上面一个步骤，把提示词换成“Changing the background to the universe,the body emits light”。 最后导入剪映，按照自己喜欢的风格，剪成一个小短片。 另外，可以用即梦 S2.0（或其他可以动效的工具）出动态视频，在剪映提前转成 9:16 或 16:9 的大小，否则 runway 会裁剪尺寸。
2025-02-20