Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

模型打分

Answer

评估模型输出通常需要一个“黄金标准”的答案。假设我们清楚某个问题的正确答案应包含哪些事实（得分点），就可以使用模型查询和计算的方法总结这些得分点来为模型输出质量打分。这是监督学习的一部分，能让模型在人类指导下改善性能。评估过程通常由另一个模型执行，以降低人力成本。

例如，杨志磊对各模型的答辩状 prompt 进行了评测，按照满分 10 分的标准，各模型得分如下：ChatGPT 为 6 分，Bard 为 5.5 分，Kimi chat 为 6.5 分，智谱清言为 5 分，讯飞星火为 5 分，文心一言 3.5 为 4 分，通义千问为 6.5 分，腾讯混元为 5 分，百川大模型为 7 分，豆包 AI 为 5 分，Copilot 为 9 分，Claude 2.0 为 6 分。

斯坦福发布的大模型排行榜 AlpacaEval 相比其他 LLM 自动评测器，如 alpaca_farm_greedy_gpt4、aviary_gpt4、lmsys_gpt4 及人类评估，有其特别之处。在 AlpacaEval set 上，通过与 2.5K 条人工标注结果对比，其采用的 GPT-4 评测方式取得了最高的人类一致性、较低的误差，且只需约 1/22 的人类标注成本。另外，团队还从统计角度研究了什么评估数据能最好地区分模型，并发现 Self-Instruct 数据集产生的统计能力最小，可从评估集中删除。AlpacaEval 支持两种模式的模型评估方式。

Content generated by AI large model, please carefully verify (powered by aily)

References

OpenAI：GPT_最佳实践中文大白话版本_未来力场编译.pdf

评估模型输出的时候，需要你弄一个“⻩⾦标准”的答案Evaluatemodel outputswith reference togold-standard answersSuppose it is known that the correct answer to a question should make reference to aspecific set of known facts.Thenwe can use a model query to count howmany of therequired facts are included in the answer.（这段没有逐字翻译）假设我们作为⼈类清楚地知道，当我们提出某个问题时，模型应该给我们输出哪些事实（得分点）。那么，我们就可以使⽤模型查询和计算的⽅法，来总结这些得分点，从⽽给模型的输出质量打分。这个过程是监督学习的一部分，它能让模型通过⼈类的指导来改善其性能。评估模型输出的过程也是由另一个模型来执⾏的（⽽不是⼈）。这是一个⾃动化的评估过程。⽐如，一个模型（可能是同一个模型的不同实例或不同的模型）负责评估另一个模型的输出。否则，做⼤规模的模型训练的⼈⼒成本就太⾼了。OpenAI提供了一些prompt⽰例，我们这⾥略去了。有兴趣可以参考原链接。附录OpenAI Playground什么，怎么用？什么是OpenAI Playground...一个⾯向开发⼈员和研究⼈员的“游乐场”在Playground上可以按⾃⼰需求更改设置。这是最好的一点。8、频率惩罚和存在惩罚（Frequency penalty and Presence penalty）这两个参数都是⽤来调控⽂本⽣成过程中某些词汇出现的频率和次数的。

杨志磊：律师答辩状prompt各模型评测

如果按照满分10分的话|ChatGPT|6|<br>|-|-|<br>|Bard|5.5|<br>|Kimi chat|6.5|<br>|智谱清言|5|<br>|讯飞星火|5|<br>|文心一言3.5|4|<br>|通义千问|6.5|<br>|腾讯混元|5|<br>|百川大模型|7|<br>|豆包AI|5|<br>|Copilot|9|<br>|Claude 2.0|6|

斯坦福发布大模型排行榜AlpacaEval

那么相比其他的LLM自动评测器，如alpaca_farm_greedy_gpt4、aviary_gpt4、lmsys_gpt4，还有人类（humans）评估，斯坦福的AlpacaEval评测器有什么特别？在AlpacaEval set上，斯坦福AlpacaEval团队通过与2.5K条人工标注结果（每个指令平均包含4个人工标注）对比，研究人员评估了不同的自动标注器的性能。对比结果显示，AlpacaEval采用的GPT-4评测方式取得了最高的人类一致性，以及较低的误差，并仅需约1/22的人类标注成本。图注：人类一致性：标注者与交叉标注集中人类多数票之间的一致性。价格：每1000个标注的平均价格。时间：计算1000个标注所需的平均时间。相对于人工标注，全自动化的AlpacaEval仅需花费约1/22的经济成本和1/25的时间成本。另外，还有一个关键问题：什么评估数据可以最好地区分模型。团队从统计角度出发，在AlpacaEval的所有子集上检验这个问题。下图显示了AlpacaEval每个子集的80个实例上每对模型的配对t检验的p值。例如，我们看到Self-Instruct数据集产生的统计能力最小，这表明可以从评估集中删除该数据集。图注：不同基准评估数据集的质量02如何使用AlpacaEval评估模型AlpacaEval支持两种模式的模型评估方式：

Others are asking
文生图模型打分的排行榜
以下是关于文生图模型打分的排行榜相关信息： SuperCLUEImage 测评基准首次公布，DALLE 3 以 76.94 分高居榜首，显示其在图像生成质量、多样性和文本一致性方面的卓越表现。百度文心一格和 vivo 的 BlueLMArt 位列国内前列，但与国际领先模型仍有差距。 在包含人工评估、机器评估的全面评测中，Kolors 具有非常有竞争力的表现，达到业界领先水平。构建了包含 14 种垂类、12 个挑战项、总数量为一千多个 prompt 的文生图评估集 KolorsPrompts。 人工评测方面，邀请了 50 个具有图像领域知识的专业评估人员对不同模型的生成结果进行对比评估，衡量维度为画面质量、图文相关性、整体满意度三个方面。Kolors 在整体满意度方面处于最优水平，其中画面质量显著领先其他模型。具体平均分如下： AdobeFirefly：整体满意度平均分 3.03，画面质量平均分 3.46，图文相关性平均分 3.84。 Stable Diffusion 3：整体满意度平均分 3.26，画面质量平均分 3.5，图文相关性平均分 4.2。 DALLE 3：整体满意度平均分 3.32，画面质量平均分 3.54，图文相关性平均分 4.22。 Midjourneyv5：整体满意度平均分 3.32，画面质量平均分 3.68，图文相关性平均分 4.02。 Playgroundv2.5：整体满意度平均分 3.37，画面质量平均分 3.73，图文相关性平均分 4.04。 Midjourneyv6：整体满意度平均分 3.58，画面质量平均分 3.92，图文相关性平均分 4.18。 Kolors：整体满意度平均分 3.59，画面质量平均分 3.99，图文相关性平均分 4.17。所有模型结果取自 2024.04 的产品版本。
2025-01-07
给文生图ai模型打分的权威标准是什么
给文生图 AI 模型打分的权威标准通常包括以下方面： 1. 图像生成质量：如清晰度、细节丰富程度、色彩准确性等。 2. 多样性：生成图像的风格、主题和表现形式的丰富程度。 3. 文本一致性：生成的图像与输入的文本描述的匹配程度。 在具体的测评中，会构建包含人工评估和机器评估的全面评测内容。人工评测方面，会邀请具有图像领域知识的专业评估人员，从画面质量、图文相关性、整体满意度等维度为生成图像打分。例如，在对 Kolors 与其他模型的比较中，就从这些维度进行了评估。 此外，像 SuperCLUEImage 测评基准首次公布的结果中，DALLE 3 以 76.94 分高居榜首，显示其在图像生成质量、多样性和文本一致性方面的卓越表现。百度文心一格和 vivo 的 BlueLMArt 位列国内前列，但与国际领先模型仍有差距。
2025-01-07
怎么制定模型打分标准
制定模型打分标准可以从以下方面考虑： 1. 对于通用人工智能模型： 模型的参数数量。 数据集的质量或大小，例如通过词元来衡量。 训练模型所用的计算量，以浮点运算数衡量，或由其他变量组合表示，如估计的训练成本、估计的训练所需时间或估计的训练能耗。 模型的输入和输出模式，如文本到文本（大型语言模型）、文本到图像和多模态，以及确定每种模式的高影响能力的先进水平阈值，以及输入和输出的具体类型（如生物序列）。 模型能力的基准和评估，包括考虑无需额外训练的适配任务数量、学习新的独特任务的可适应性、其自主程度和可扩展性、可使用的工具。 由于其覆盖范围，而对内部市场的影响很大，如已提供给至少 10000 个设立在联盟之内的注册商业用户，则应加以推定。 注册的终端部署者数量。 与使用通用人工智能模型有关的相关软件版本，如适用。 结构和参数数量。 输入和输出的模态（如文本、图像）和格式。 模型许可。 模型要件及其开发过程的说明，包括将通用人工智能模型纳入人工智能系统所需的技术手段（如使用说明、基础设施、工具）。 2. 对比不同大型语言模型的性能： 理解能力：评估模型对语言的理解程度，包括对语法、语义、上下文和隐含意义的理解。 生成质量：检查模型生成的文本的质量，包括文本的流畅性、相关性和准确性。 知识广度和深度：评估模型对广泛主题的知识掌握程度，以及它对特定领域或话题的理解深度。 泛化能力：测试模型在处理未见过的任务或数据时的表现，这反映了模型的泛化能力。 鲁棒性：检查模型对错误输入、对抗性输入或模糊不清的指令的应对能力。 偏见和伦理：评估模型生成文本时是否存在偏见，以及模型是否遵循伦理标准。 交互性和适应性：评估模型在交互环境中的表现，包括对用户反馈的适应性和持续对话的能力。 计算效率和资源消耗：考虑模型的大小、训练和运行所需的计算资源。 易用性和集成性：评估模型是否易于集成到不同的应用和服务中，以及提供的 API 和工具的易用性。 为了进行有效的比较，可以采用以下方法：标准基准测试，使用标准的语言模型评估基准，如 GLUE、SuperGLUE、SQuAD 等，这些基准提供了统一的测试环境和评分标准。
2024-09-02
2024 年值得关注的中文大模型全景图
2024 年，AI 大模型在生产和生活中落地速度迅猛，被称为国内大模型落地元年。以下是一些值得关注的情况： 国内大模型行业形成了以百度、阿里、字节等科技大厂和创业“AI 六小虎”为主要玩家的竞争格局。 2024 年 1 至 11 月，国内大模型中标项目数量和金额大幅增长，中标项目共 728 个，是 2023 年全年的 3.6 倍；中标金额 17.1 亿元，是 2023 年全年的 2.6 倍。中标项目数前五的行业分别是运营商、能源、教育、政务、金融。 厂商方面，百度以 40 个中标项目数、2.74 亿元的中标金额排名所有厂商之首，科大讯飞居第二。 在金融行业，百度以 14 个中标数量、3734.4 万元中标金额排名第一；科大讯飞居第二。 在智能终端行业，超半数手机厂商都在使用文心大模型，包括三星、荣耀、vivo、OPPO、小米等主流手机品牌；上汽大众、吉利汽车、蔚来汽车、长安汽车等十余家车企已接入百度文心大模型。 百度表现突出，截至 11 月，其文心大模型日均调用量超过 15 亿次，千帆平台帮助客户精调了 3.3 万个模型、开发了 77 万个企业应用。今年三季度财报披露，百度智能云营收达 49 亿元，同比增长 11%。 2024 年 9 月 AI 行业大事记： 9 月 12 日：李继刚再现神级 Prompt，玩法持续翻新；Mistral 发布首个多模态模型 Pixtral 12B。 9 月 13 日：商汤 Vimi 相机开放微博小程序；元象开源中国最大 MoE 大模型 XVERSEMoEA36B；OpenAI 发布 o1 模型。 9 月 14 日：人工智能生成合成内容标识办法；Jina AI 发布 ReaderLM、Jina Embeddings V3。 9 月 18 日：DeepSeek 发文庆祝登上 LMSYS 榜单国产第一，几小时后 Qwen 新模型表示不服。 9 月 19 日：云栖大会；通义万相 AI 生视频上线；快手可灵 1.5 模型新增运动笔刷能力。 9 月 20 日：腾讯元器智能体对外发布；秘塔科技产品经理 JD 走红 AI 圈；阶跃跃问接入 Step2 万亿参数 MoE 语言大模型。 9 月 21 日：大模型测试基准研究组正式成立。 9 月 23 日：钉钉 365 会员上线。 9 月 24 日：讯飞星火 API 全新升级；豆包大模型全系列发布&更新。 9 月 25 日：Vidu API 正式开放，加速企业级视频创作；OpenAI 发布高级语音功能；西湖心辰开源 WestlakeOmni。 大模型进入产业落地后，除了大模型本身能力质量要过硬外，落地应用所需要的全栈技术能力、工程化配套工具等对落地效果有直接影响。企业想要真正将大模型在自身场景落地，需要具备构建算力、数据治理、模型训练、场景落实、应用搭建、持续运营、安全合规等整套能力，大模型的竞争正在加速成为体系化之战。
2025-02-21
怎样操作来源模型
以下是关于操作来源模型的相关内容： 对于某些模型，如 Llama3.1 8B Instruct，操作方式如下： 1. 选择自定义提示词（也可选择预定义的话题，即黑色按钮，黑色按钮会有新手使用指引）。然后左边会出现熟悉的 chat 界面。 2. 输入对话内容，等待左右两边的内容生成。若右边的分析未刷新，在相关按钮间切换。 3. Activation Mode 可获得整段的推理判断；Attribution Mode 需选中一个 token，它会分析对应的最大关联内容。 对于 ComfyUI 玩 SDXL 的模型，操作要点包括： 1. 添加噪波：disable，运行后操作：fixed，步数：30，开始降噪步数：20，结束降噪步数：30，返回噪波：disable。 2. 若将 refiner 的模型连上提示词导致第一个 base 模型的链接断开，可通过加入新节点（右键点击【新建节点】【实用工具】【Primitive 元节点】），在文本节点上单击右键选择【转换文本为输入】，将元节点与文本节点相连接，复制出正负提示词节点分别给 base 模型和 refiner 模型，再将 base 模型的一套输出给第一个采样器节点，refiner 模型的一套输出给第二个采样器节点，使两个模型同时起作用。 对于 Tusiart 模型： 1. 首页包括模型、帖子、排行榜，可查看大手子炼成的模型、图片，不同模型有 checkpoint 和 lora 等标签，还有 XL 标签属于 SDXL 新模型，点击可看模型详细信息及返图区。 2. 基础模型（checkpoint）是生图必需的，任何生图操作必须选定，lora 是低阶自适应模型，可有可无，但对细节控制有价值。 3. ControlNet 可控制图片中特定图像，VAE 类似于滤镜可调整生图饱和度，选择 840000 即可。 4. Prompt 提示词是想要 AI 生成的内容，负向提示词 Negative Prompt 是想要 AI 避免产生的内容。
2025-02-21
不同ai模型的应用场景
以下是不同 AI 模型的应用场景： 基于开源模型： Civitai、海艺 AI、liblib 等为主流创作社区，提供平台让用户利用 AI 技术进行图像创作和分享，用户无需深入了解技术细节即可创作出较高质量的作品。 基于闭源模型： OpenAI 的 DALLE 系列： 发展历史：2021 年初发布 DALLE，2022 年推出 DALLE 2，2023 年发布 DALLE 3，不断提升图像质量、分辨率、准确性和创造性。 模型特点：基于变换器架构，采用稀疏注意力机制，DALLE 2 引入 CLIP 模型提高文本理解能力，DALLE 3 优化细节处理和创意表现。 落地场景：2C 方面可控性强于 Midjourney，但复杂场景和细节处理能力不如 Midjourney；2B 方面与 Midjourney 场景类似。 商业化现状：通过提供 API 服务，使企业和开发者能集成到应用和服务中，采取分层访问和定价策略。 伦理和合规性：加强对生成内容的审查，确保符合伦理和法律标准。 大模型： 文本生成和内容创作：撰写文章、生成新闻报道、创作诗歌和故事等。 聊天机器人和虚拟助手：提供客户服务、日常任务提醒和信息咨询等服务。 编程和代码辅助：用于代码自动补全、bug 修复和代码解释。 翻译和跨语言通信：促进不同语言背景用户之间的沟通和信息共享。 情感分析和意见挖掘：为市场研究和产品改进提供数据支持。 教育和学习辅助：创建个性化学习材料、自动回答学生问题和提供语言学习支持。 图像和视频生成：如 DALLE 等模型可根据文本描述生成相应图像，未来可能扩展到视频内容生成。 游戏开发和互动体验：创建游戏中的角色对话、故事情节生成和增强玩家沉浸式体验。 医疗和健康咨询：理解和回答医疗相关问题，提供初步健康建议和医疗信息查询服务。 法律和合规咨询：帮助解读法律文件，提供合规建议，降低法律服务门槛。 这些只是部分应用场景，随着技术进步和模型优化，AI 模型在未来可能会拓展到更多领域和场景。同时，也需注意其在隐私、安全和伦理方面的挑战。
2025-02-21
大模型和小模型区别是什么？是否大模型都属于生成式AI，小模型属于判别式AI，为什么大模型有幻觉小模型没有？
大模型和小模型的区别主要体现在以下几个方面： 1. 规模和参数数量：大模型通常具有更多的参数和更复杂的架构，能够处理更大量和更复杂的数据。 2. 能力和性能：大模型在语言理解、生成等任务上往往表现更出色，能够生成更准确、丰富和连贯的内容。 3. 应用场景：大模型适用于广泛的通用任务，而小模型可能更专注于特定的、较狭窄的领域。 并非大模型都属于生成式 AI，小模型都属于判别式 AI。生成式 AI 能够生成新的内容，如文本、图片等；判别式 AI 则主要用于对输入进行分类或判断。模型的分类与其大小并无直接的必然联系。 大模型出现幻觉的原因主要是其通过训练数据猜测下一个输出结果，可能会因错误或不准确的数据导致给出错误的答案。而小模型相对来说数据量和复杂度较低，出现幻觉的情况相对较少，但这并非绝对，还取决于模型的训练质量、数据的准确性等多种因素。优质的数据集对于大模型减少幻觉现象非常重要。
2025-02-21
如果想用AI创作表情包，推荐用什么AI大模型
如果您想用 AI 创作表情包，以下是一些推荐的 AI 大模型及相关平台： 1. MewXAI：这是一款操作简单的 AI 绘画创作平台。其功能包括 MX 绘画，拥有众多超火模型和上百种风格，支持文生图、图生图；MX Cute 是自研的可爱风动漫大模型；MJ 绘画在表情包制作等方面表现出色；还有边缘检测、室内设计、姿态检测、AI 艺术二维码、AI 艺术字等多种功能。访问地址：https://www.mewxai.cn/ 2. 在开发 AI Share Card 插件的过程中，选用的是 GLM4flash 模型。它具有较长的上下文窗口、响应速度快、并发支持高、免费或价格较低等优点。 请注意，以上内容由 AI 大模型生成，请仔细甄别。
2025-02-21
复杂推理的产品，给模型灌什么能够更好训练推理能力？以及怎么优化模型的推理准确度？
以下是一些能够更好训练模型推理能力以及优化推理准确度的方法： 1. OpenAI 的推理模型通过强化学习进行训练，在训练过程中，模型学会在回答前思考，产生长链的思维过程，并不断尝试不同策略，识别错误，从而能够遵循特定的指导方针和模型政策，提供更有用的回答，避免产生不安全或不适当的内容。 2. 蒙特卡洛树搜索（MCTS）对推理模型有积极影响，例如在数学定理证明中，能探索非确定性证明路径，将解决 IMO 几何题的耗时从传统方法的 30 分钟降至 90 秒；在多跳问答系统中，结合 MCTS 的模型在 HotpotQA 数据集上准确率提升 12%，因其能回溯验证中间推理步骤。 3. 动态知识融合机制方面，传统基于规则的推理无法处理模糊知识，而 MCTS 增强方案在医疗诊断中可将误诊率从纯规则引擎的 23%降至 9%。 4. 资源分配优化方面，在逻辑谜题求解任务中，MCTS + Transformer 能达到 85%准确率且耗时 3 秒，而纯 Transformer 为 62%准确率且耗时 8 秒；在法律条文推导任务中，MCTS + Transformer 有 92%合规性且耗时 5 秒，纯 Transformer 为 88%合规性且耗时 2 秒。 OpenAI 于 9 月 12 日发布的新模型 o1 旨在实现通用复杂推理，通过强化学习和思维链的方式提升推理能力，尤其在数学和编程领域表现出色，但用户反馈显示其实际表现与宣传存在差距，成本高于 GPT4o，且在某些任务上优势不明显，OpenAI 仍在探索如何优化模型的推理性能。
2025-02-21