Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

大模型评估

Answer

大模型评估是当前热门领域,以下是一些常见的评估方法和相关资源:

  • 测试问题类型:
    • 检索和归纳。
    • 推理性。
    • 有日期相关历史事件等。
  • 专业测评网站:
    • https://lmsys.org/blog/2023-05-03-arena/ (系统自带翻译不太友好,可点进去仔细阅读)。
    • 中文语言理解测评基准(CLUE):https://www.cluebenchmarks.com/index.html ,介绍:https://mp.weixin.qq.com/s/6CDnyvMsEXtmsJ9CEUn2Vw 。
    • 斯坦福团队的 AlpacaEval:项目链接:https://github.com/tatsu-lab/alpaca_eval ,排行榜链接:https://tatsu-lab.github.io/alpaca_eval/ 。
    • FlagEval(天秤)大模型评测体系及开放平台:地址:https://github.com/FlagOpen/FlagEval ,简介:旨在建立科学、公正、开放的评测基准、方法、工具集,协助研究人员全方位评估基础模型及训练算法的性能,同时探索利用 AI 方法实现对主观评测的辅助,大幅提升评测的效率和客观性。FlagEval(天秤)创新构建了“能力-任务-指标”三维评测框架,细粒度刻画基础模型的认知能力边界,可视化呈现评测结果。
    • C-Eval:地址:https://github.com/SJTU-LIT/ceval ,简介:构造了一个覆盖人文,社科,理工,其他专业四个大方向,52 个学科(微积分,线代…),从中学到大学研究生以及职业考试,一共 13948 道题目的中文知识和推理型测试集。此外还给出了当前主流中文 LLM 的评测结果。
    • SuperCLUElyb:地址:https://github.com/CLUEbenchmark/SuperCLUElyb ,简介:中文通用大模型匿名对战评价基准,这是一个中文通用大模型对战评价基准,它以众包的方式提供匿名、随机的对战。他们发布了初步的结果和基于 Elo 评级系统的排行榜。
  • 对比不同大语言模型性能的方法:
    • 自定义任务:根据特定需求设计任务,以评估模型在特定领域的表现。
    • 人类评估:结合人类评估者的主观评价,特别是在评估文本质量和伦理问题时。
    • A/B 测试:在实际应用场景中,通过 A/B 测试比较不同模型的表现。
    • 性能指标:使用包括准确率、召回率、F1 分数、BLEU 分数等在内的性能指标来量化比较。

请注意,以上内容由 AI 大模型生成,请仔细甄别。

Content generated by AI large model, please carefully verify (powered by aily)
Others are asking
AI可行性评估报告
以下是为您提供的关于 AI 可行性评估报告的相关内容: 一、关于 AI 责任和新技术的提案 1. 该提案建立在 4 年的分析和利益相关者(包括学者、企业、消费者协会、成员国和公民)的密切参与基础上。 2. 准备工作始于 2018 年,成立了责任和新技术专家组。专家组于 2019 年 11 月发布报告,评估了 AI 的某些特征对国家民事责任规则构成的挑战。 3. 专家组报告的输入得到了三项额外外部研究的补充: 基于欧洲侵权法对关键 AI 相关问题的比较法律研究。 关于责任制度有针对性调整对消费者决策(特别是他们对采用 AI 支持的产品和服务的信任和意愿)影响的行为经济学研究。 涵盖一系列问题的经济研究,包括 AI 应用的受害者与非 AI 设备的受害者在试图获得损失赔偿时面临的挑战;企业对当前责任规则在其涉及 AI 的业务中的应用是否不确定以及不确定程度;法律不确定性的影响是否会阻碍对 AI 的投资;国家责任法的进一步碎片化是否会降低 AI 应用和服务的内部市场的有效性,以及通过欧盟立法协调国家民事责任的某些方面是否会减少这些问题并促进欧盟公司对 AI 技术的总体采用。 二、AI 相关的其他内容 1. 让 Claude 3.5 摆脱循环的提示技巧:在模型陷入重复或逻辑僵局时,可使用“退后一步”提示词,让其先进行多步、多角度思考,输出十段左右分析,再转化为代码实现。优势是避免错误方向的持续生成,促使模型输出新的思考过程。但如果模型输出内容已过于冗杂,建议修改原始提示词。 2. AI 对程序员工作的影响分析:AI 可代替代码生成、补全、分析问题和数据提取、辅助架构设计文档等部分;无法代替需求分析、复杂项目拆分、线上问题排查、调试及安全性保障。专业程序员可通过 AI 提升效率,但非专业人士难以依赖 AI 完成复杂任务,需注重自身技能提升和架构设计能力。 3. AI 应用场景:可从“自相矛盾”“时间线”“常识性冲突”角度,分析访谈内容的内部一致性,并结合常识推测可能存在夸大或不实之处。适合验证新闻、访谈或声明的真实性,发现潜在问题。 三、关于 AI 的创新方法 1. 政府已通过发布相关内容支持工具的开发。 2. 提出关于非监管工具对组织嵌入可信 AI 的帮助。 3. 包括长期规划,如交付确保框架有效的核心功能的首次迭代、与关键监管机构合作、发布草案咨询、开发监管沙盒或试验台、发布监测和评估报告、更新 AI 监管路线图等。
2025-01-22
请写一份基于人工智能的智能家居安防系统建设方案,包括项目介绍、商业模式、、竞品分析、行业分析、经营规划、风险评估、融资规划等。
以下是为您生成的基于人工智能的智能家居安防系统建设方案: 项目介绍: 智能家居安防系统是利用人工智能技术,对家居环境进行实时监控和安全防护的系统。它融合了智能硬件、智能软件、智能网联和服务平台等技术,旨在提升家居安防的效率和可靠性。 商业模式: 可以采用设备销售与服务订阅相结合的模式。销售智能安防设备获取收入,同时提供定期的维护和升级服务,用户按需订阅。 竞品分析: 目前市场上的竞品主要包括传统安防企业的智能化产品和新兴科技公司的创新方案。传统企业可能在硬件制造和渠道方面有优势,新兴公司则在技术创新和用户体验上有所突破。 行业分析: 智能家居安防市场正处于快速发展阶段。随着人们对生活品质和安全的重视,需求不断增长。同时,技术的进步也为行业发展提供了有力支持。 经营规划: 1. 产品研发:不断优化智能安防设备的性能和功能。 2. 市场推广:通过线上线下多种渠道进行宣传和推广。 3. 客户服务:建立完善的售后服务体系,提高用户满意度。 风险评估: 1. 技术风险:如技术更新换代快,需要持续投入研发。 2. 市场风险:竞争激烈,市场份额可能受到挤压。 3. 法律风险:需符合相关法律法规和标准。 融资规划: 根据项目的发展阶段和资金需求,制定合理的融资计划。可以考虑天使投资、风险投资、银行贷款等多种融资渠道。 需要注意的是,以上方案仅为初步框架,具体内容还需要进一步深入调研和细化。
2024-12-11
AI 评估 GPU 大模型的性能指标,包括输入 token 和输出 token 能力的区分。
以下是关于 AI 评估 GPU 大模型性能指标中输入 token 和输出 token 能力区分的相关内容: 大模型是通过输入大量语料进行训练,从而获得类似人类的“思考”能力,能够进行文本生成、推理问答、对话、文档摘要等工作。在大模型的训练和使用过程中: 1. 训练需要大量计算,GPU 更合适,只有具备大量 GPU 的才有资本训练大模型。 2. 大模型需要大量数据量,几千亿序列(Token)的输入基本是标配。 3. 要用合适的算法让大模型更好理解 Token 之间的关系。 4. 为让大模型更好胜任某一行业,需要进行微调(fine tuning)指导。 5. 完成上述步骤后,大模型就可以进行如翻译、问答等推导(infer)工作。 Token 是大模型语言体系中的最小单元,人类语言发送给大模型时,会先转换为其自身语言,推理生成答案后再翻译输出。不同厂商的大模型对中文的文本切分方法不同,通常 1Token 约等于 1 2 个汉字。大模型的收费计算方法以及对输入输出长度的限制,都是以 token 为单位计量的。 在评估 GPU 大模型性能时,显卡的常规指标很重要。大部分模型默认采用 FP16 的加载方式,因此显卡的性能指标主要关注 FP16 的算力和显存大小。算力影响推理速度,包括输入数据处理和持续吐出数据的速度,会体现在从提示词输入后到第一个输出的 token 的等待时间间隔,以及流式输出下每秒吐字的字数,通常每秒 10 token 以上能获得较好的用户体验。显存大小影响能否装载模型,可通过“参数大小乘 2”简化判断所需显存大小,但实际显存需求还会受其他因素影响。
2024-12-05
如何对rag进行评估
对 RAG 进行评估可以从以下几个方面入手: 1. 使用 RAG 三角形的评估方法: 在 LangChain 中创建 RAG 对象,使用 RAGPromptTemplate 作为提示模板,指定检索系统和知识库的参数。 在 TruLens 中创建 TruChain 对象,包装 RAG 对象,指定反馈函数和应用 ID。反馈函数可使用 TruLens 提供的 f_context_relevance、f_groundness、f_answer_relevance,也可自定义。 使用 with 语句运行 RAG 对象,记录反馈数据,包括输入问题、得到的回答以及检索出的文档。 查看和分析反馈数据,根据 RAG 三角形的评估指标评价 RAG 的表现。 2. 建立评估框架将检索性能与整个 LLM 应用程序隔离开来,从以下角度评估: 模型角度(generation): 回答真实性:模型结果的真实性高低(减少模型幻觉)。 回答相关度:结果和问题的相关程度,避免南辕北辙。 检索角度(retrieval): 召回率(recall):相关信息在返回的检索内容中的包含程度,越全越好。 准确率(precision):返回的检索内容中有用信息的占比,越多越好。 3. 考虑以下评估方法和指标: 生成质量评估:常用自动评估指标(如 BLEU、ROUGE 等)、人工评估和事实验证,衡量生成文本的流畅性、准确性和相关性。 检索效果评估:包括检索的准确性、召回率和效率,其好坏直接影响生成文本的质量。 用户满意度评估:通过用户调查、用户反馈和用户交互数据了解用户对 RAG 系统的满意度和体验。 多模态评估:对于生成多模态内容的 RAG 系统,评估不同模态之间的一致性和相关性,可通过多模态评估指标实现。 实时性评估:对于需要实时更新的 RAG 任务,考虑信息更新的及时性和效率。 基准测试集:使用基准测试集进行实验和比较不同的 RAG 系统,涵盖多样化的任务和查询,以适应不同的应用场景。 评估方法和指标的选择取决于具体的任务和应用场景,综合使用多种评估方法可更全面地了解 RAG 系统的性能和效果,评估结果能指导系统的改进和优化,满足用户需求。此外,RAGAS 是一个用于 RAG 评估的知名开源库,可参考使用: 。需要注意的是,RAG 适合打造专才,不适合打造通才,且存在一定局限性,如在提供通用领域知识方面表现不佳,可能影响模型的风格或结构输出、增加 token 消耗等,部分问题需使用微调技术解决。
2024-11-13
怎么评估提示词的效果?
评估提示词的效果可以从以下几个方面进行: 1. 模型的准确率:观察模型生成的回答与预期结果的匹配程度。 2. 流畅度:检查生成的文本在语言表达上是否通顺、自然。 3. 相关性:判断生成的内容与提示词所表达的意图和需求的关联程度。 提示词工程师在评估提示词效果时,通常会采取以下步骤和方法: 1. 设计提示:根据用户需求和模型能力,精心考虑提示的长度、结构、措辞和信息量等因素,以清晰传达用户意图。 2. 优化提示:通过收集用户反馈、分析模型结果和实验不同的提示策略等方式,不断改进提示。 3. 实际测试:包括对基础提示词模板的测试,确保其能兼容国内外各种模型,并生成拟人化的提示词,然后将其应用于不同模型中评估实际应用效果和适应性。 此外,提示工程有几项核心原则: 1. 编写清晰的指令。 2. 将复杂任务分解为简单任务。 3. 给模型一定的时间空间思考。 4. 系统地测试性能变化。 要提高提示技巧,应多学习和实践。同时,可以参考大模型厂商的提示工程指南,以及 LangGPT 结构化提示词知识库中的相关资料,如:
2024-10-15
帮我找知识库里和「评估」相关的内容或文章
以下是知识库里与“评估”相关的内容: 提示工程: 评估程序在优化系统设计时很有用。好的评估程序需要具备以下特点: 具有代表性:能够代表真实世界的使用场景,或者至少包含多样化的测试用例。 样本量充足:拥有足够的测试用例,以保证统计结果的可靠性。 易于自动化:可以自动运行或重复执行。 评估工作可以由计算机、人类或两者协作完成。计算机可以使用客观标准以及一些主观或模糊标准自动执行评估,其中模型输出由其他模型查询评估。是一个开源软件框架,提供了创建自动评估程序的工具。 基于模型的评估在评估具有多种可能答案的问题时非常有用,模型可以根据预定义的标准对不同的答案进行评分,帮助我们选择最佳答案。可以用模型进行评估和需要人工评估之间的界限是模糊的,并且随着模型变得越来越强大而不断变化。 OpenAI 官方指南: 评估程序(或称为“Evals”)对于优化系统设计非常有用。良好的评估: 代表现实世界的使用(或至少是多样化的)。 包含许多测试用例以获得更大的统计能力。 易于自动化或重复。 输出的评估可以由计算机、人类或混合来完成。计算机可以使用客观标准以及一些主观或模糊标准来自动评估,其中模型输出由其他模型查询评估。是一个开源软件框架,提供用于创建自动评估的工具。 当存在一系列可能被认为质量相同的输出时,基于模型的评估可能很有用。使用基于模型的评估可以实际评估的内容与需要人工评估的内容之间的界限是模糊的,并且随着模型变得更强大而不断变化。 Gemini 报告: 为了评估 Gemini 模型在政策领域和其他在影响评估中确定的关键风险领域中的表现,在模型开发的整个生命周期中开展了一系列评估。 在训练和优化 Gemini 模型过程中,会进行开发评估以进行“hillclimbing”。这些评估是由 Gemini 团队设计的,或者是针对外部学术基准的评估。评估考虑诸如有用性(指令遵循和创造力)、安全性和事实性等问题。 保证评估是为了治理和审查而进行的,通常在关键里程碑或培训运行结束时由模型开发团队之外的团队进行。保证评估按照模态进行标准化,数据集严格保密。只有高层次的见解被反馈到训练过程中,以协助缓解工作。保证评估包括对 Gemini 政策的测试,并包括对潜在生物危害、说服力和网络安全等危险能力的持续测试。 外部评估由谷歌之外的合作伙伴进行,以发现盲点。外部团体对模型进行了一系列问题的压力测试,包括白宫承诺书中列出的领域,测试通过结构化评估和非结构化的红队测试进行。这些评估的设计是独立的,并且结果定期报告给 Google DeepMind 团队。
2024-09-30
SD模型
Stable Diffusion(SD)模型是由 Stability AI 和 LAION 等公司共同开发的生成式模型,参数量约 1B,可用于文生图、图生图、图像 inpainting、ControlNet 控制生成、图像超分等任务。 文生图任务是将文本输入到 SD 模型,经过一定迭代次数生成符合描述的图片。例如输入“天堂,巨大的,海滩”,模型生成美丽沙滩图片。 图生图任务在输入文本基础上再输入一张图片,模型根据文本提示重绘输入图片使其更符合描述,如在沙滩图片上添加“海盗船”。 输入的文本信息需通过“桥梁”CLIP Text Encoder 模型转换为机器数学信息。该模型作为 SD 模型中的前置模块,将输入文本编码生成 Text Embeddings 特征矩阵,用于控制图像生成。 目前 SD 模型使用的是中的 Text Encoder 模型,其只包含 Transformer 结构,由 12 个 CLIPEncoderLayer 模块组成,模型参数大小为 123M,输出 Text Embeddings 的维度为 77x768。 以下是相关资源获取方式: SD 模型权重:关注 Rocky 的公众号 WeThinkIn,后台回复“SD 模型”,可获得包含多种模型权重的资源链接。 SD 保姆级训练资源:关注 Rocky 的公众号 WeThinkIn,后台回复“SDTrain”,可获得包含数据处理、模型微调训练及基于 SD 的 LoRA 模型训练代码等全套资源。 Stable Diffusion 中 VAE、UNet 和 CLIP 三大模型的可视化网络结构图:关注 Rocky 的公众号 WeThinkIn,后台回复“SD 网络结构”,即可获得网络结构图资源链接。
2025-01-22
到今天,大语言模型还会产生“幻觉”吗
截至今天,大语言模型仍会产生“幻觉”。 大语言模型偶尔会根据输入输出一些荒谬或不符合事实的内容,目前各家大语言模型在该问题上的表现都不尽如人意。产生“幻觉”的原因包括: 1. 样本存在错误(Imitative Falsehoods):如果大语言模型学习的“教材”中有错误,它也容易给出错误回答。缓解该问题的一个办法是上采样(Up Sampling)。 2. 信息过时(Outdated Factual Knowledge):以前正确的信息现在可能过时了。 此外,大语言模型通过训练数据猜测下一个输出结果,可能因错误数据导致给出错误答案,优质数据集对其很重要。如果在其训练过程中,模型被暴露于大量知识之中,它并没有完美地记忆所见到的信息,并不十分清楚自己的知识边界,可能会尝试回答有关深奥话题的问题,并虚构听起来有道理但实际不正确的内容。 在构建应用程序时,可以使用一些技术来避免这种情况,例如要求模型先从文本中找到相关引文,然后使用引文回答问题,并将答案追溯回源文件,这通常有助于减少“幻觉”的发生。
2025-01-22
本地部署大模型
以下是关于本地部署大模型的详细步骤: 1. 部署大语言模型: 下载并安装 Ollama: 根据电脑系统,从 https://ollama.com/download 下载 Ollama。 下载完成后,双击打开,点击“Install”。 安装完成后,将 http://127.0.0.1:11434/ 复制进浏览器,若出现相关字样则表示安装完成。 下载 qwen2:0.5b 模型(若设备充足可下载更大模型): Windows 电脑:点击 win+R,输入 cmd 点击回车。 Mac 电脑:按下 Command(⌘)+Space 键打开 Spotlight 搜索,输入“Terminal”或“终端”,选择“终端”应用程序。 复制相关命令行,粘贴进入并回车,等待自动下载完成。 2. ComfyUI ollama 本地大模型部署: 先下载 ollama 安装,安装完成后可在电脑桌面右下角或隐藏图标中找到。 下载对应的模型,选择模型并复制对应的命令。 打开命令行界面,输入对应的模型获取命令,等待下载完成。 模型下载后会保存到 D:\\ollama\\blobs 。 进行 docker 安装,安装会下载一些文件,安装后更改目录,不要放在 C 盘。 进行 Open webui 安装,输入相关命令,安装成功后回到 docker,点击会自动打开网页,第一次使用需注册账号,选择下载好的模型即可开始使用。 3. 错误解决: 端口占用问题,在 Windows 上可能出现,运行相关两条命令可解决。 4. 相关链接: comfyuiollama:https://github.com/stavsap/comfyuiollama?tab=readmeovfile Ollama:https://ollama.com/ docker:https://www.docker.com/ Open webui:https://openwebui.com/ 此外,还有一篇思路来源于视频号博主黄益贺的相关内容,作者按照其视频进行了实操并附加了一些关于 RAG 的额外知识。文中提到读完本文可以学习到如何使用 Ollama 一键部署本地大模型、通过搭建本地聊天工具了解 ChatGPT 信息流转、RAG 的概念及核心技术、通过 AnythingLLM 软件搭建完全本地化的数据库等内容。虽然大多数人不需要自己部署大模型,但期望通过本文的指导能够折腾一遍,从而做到知其然且知其所以然。
2025-01-22
大模型评分
大模型评分通常会根据不同的赛事或评估体系有所差异。 在金融行业的大模型挑战赛中,评测任务形式为给定一组参考文档和问题,要求模型按指定格式生成答案。赛事主办方会根据选手提供的回答与参考答案对比,并根据关键字段命中情况进行评分。评分公式涉及关键词命中总次数、关键词总数、小题数和得分等参数。例如在示例问题中,根据每个小题的回答正确情况计算得分,完全正确得满分 1 分,部分正确则根据命中比例计算得分。 在其他的大模型评估方面: FlagEval(天秤)大模型评测体系及开放平台,旨在建立科学、公正、开放的评测基准、方法、工具集,创新构建了“能力任务指标”三维评测框架,细粒度刻画基础模型的认知能力边界,可视化呈现评测结果。地址:https://github.com/FlagOpen/FlagEval 。 CEval 构造了一个覆盖多个学科的中文知识和推理型测试集,并给出了当前主流中文 LLM 的评测结果。地址:https://github.com/SJTULIT/ceval 。 SuperCLUElyb 是中文通用大模型匿名对战评价基准,以众包方式提供匿名、随机的对战,并发布了初步结果和基于 Elo 评级系统的排行榜。地址:https://github.com/CLUEbenchmark/SuperCLUElyb 。 斯坦福发布的大模型排行榜 AlpacaEval 支持两种模式的模型评估方式:alpaca_eval 和 alpaca_eval evaluate_from_model 。评测过程分为选择评估集并计算输出、计算 golden 输出、通过指定的自动标注器计算胜率等步骤。相对于人工标注,全自动化的 AlpacaEval 具有较低的经济成本和时间成本。
2025-01-22
有哪些能够本地部署的AI视频生成模型
以下是一些能够本地部署的 AI 视频生成模型: 1. Stable Video Diffusion 模型: 准备工作:手动下载相关内容,分别放到指定路径。 模型选择:点击下拉箭头选择不同模型版本,勾选 load Model。 视频创作:支持图生视频,图片来源可选择 Midjourney、Stable Diffusion 等生成的图片,上传到 SVD 进行视频生成,可调节左侧参数控制效果。 保存路径:生成的视频在 outputs 下。 2. LTXVideo 模型: 基于 2B 参数 DiT,能够以 768x512 分辨率生成 24 FPS 的视频,速度比观看还快。 专为 RTX 4090 等 GPU 优化,使用 bfloat16 精度,实现高效内存使用且不影响质量。 ComfyUI 现已支持该模型,用户只需下载模型文件并获取工作流即可在本地运行。 3. Sora 模型: 功能:文生视频、图生视频、视频生视频,支持多种视频定制选项,如分辨率、视频长度和视频风格;具有故事板功能,允许用户通过时间线指导视频中的多个动作;提供混音和编辑功能,包括视频混音、延伸和剪辑、创建循环视频等;还有混合功能,可将两个视频场景合并成一个新的场景。 费用和订阅套餐:对于拥有 OpenAI Plus 或 Pro 账户的用户,使用包含在现有订阅中。OpenAI Plus 订阅每月 50 次视频生成次数,OpenAI Pro 订阅无限次慢速队列生成,500 次正常速度的视频生成次数。用户可根据需要选择更高分辨率的视频生成,但可能会减少每月使用次数。发布初期,某些地区(如欧洲和英国)可能会有延迟。
2025-01-21
国内文生图模型
以下是关于国内文生图模型的相关信息: Recraft 模型:用 8 个月自研模型,包含处理数据的模型、标注工作、训练 OCR 模型、新构建的数据集等。Recraft 生成带有长文本图像的流程图解,但存在生成默认是外国面孔而非亚洲面孔且生成的亚洲人不太自然的情况,可能与数据集有关。只有少数公司真正从头训练模型,创建自己的模型困难且成本高,需要超强团队和资金。 模型能力方面: 文本编码器的能力是文生图模型语义理解能力的关键。一开始大部分模型使用 CLIP 作为文本编码器,但存在一些问题。新的模型纷纷优化文本编码器能力,如引入更大更强的 T5XXL 或结合多个特征,但开源模型在中文生图方面能力一般。 腾讯开源的 HunyuanDiT 是较可用的中文生图模型,但仍存在优化空间。 Kolors 是最近开源的给力文生图模型,改进全面,技术实力强。
2025-01-21