Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

大模型评测

Answer

以下是关于大模型评测的相关信息:

  • 招聘信息:有大模型算法工程师/产品经理(实习)岗位在北京,工作包括大模型效果评测,要求研究生及以上学历,相关专业优先,有相关实习经验、代码能力强等。
  • 开源评测体系及平台:
    • FlagEval(天秤):旨在建立科学、公正、开放的评测基准、方法、工具集,创新构建了“能力-任务-指标”三维评测框架。
    • C-Eval:构造了覆盖多学科的中文知识和推理型测试集,并给出主流中文 LLM 的评测结果。
    • SuperCLUElyb:中文通用大模型匿名对战评价基准,发布了初步结果和基于 Elo 评级系统的排行榜。
  • 测评示例:小七姐对文心一言 4.0、智谱清言、KimiChat 进行小样本测评,包括测评机制、目标、能力考量和多轮测评任务,如复杂提示词理解和执行、推理能力、文本生成能力、提示词设计能力、长文本归纳总结能力等,每轮测评都有不同的任务和模型参与。
Content generated by AI large model, please carefully verify (powered by aily)

References

最近招聘信息-持续更新中

[heading1]大模型算法工程师/产品经理(实习)——北京2、大模型效果评测:针对大模型效果的综合评估,开发、沉淀并持续优化评测方法,确立评测流程及标准化工作,执行评测任务并撰写分析报告,推进大模型优化。3、协助算法及产品同学不断提高AI准确性,提升用户体验基本要求:1、研究生及以上学历,计算机、金融、数据分析等相关专业优先。熟悉大模型及相关NLP技术者优先2、有AIGC相关实习经验者优先3、代码能力强且有利用大模型解决编程问题的经验,能够熟练的使用python、sql、java等工具,能独立完成数据分析/处理任务优先4、能够尽快到岗,每周5天出勤,实习时间4个月以上

LLM开源中文大语言模型及数据集集合

FlagEval(天秤)大模型评测体系及开放平台地址:[https://github.com/FlagOpen/FlagEval](https://github.com/FlagOpen/FlagEval)简介:旨在建立科学、公正、开放的评测基准、方法、工具集,协助研究人员全方位评估基础模型及训练算法的性能,同时探索利用AI方法实现对主观评测的辅助,大幅提升评测的效率和客观性。FlagEval(天秤)创新构建了“能力-任务-指标”三维评测框架,细粒度刻画基础模型的认知能力边界,可视化呈现评测结果。C-Eval:构造中文大模型的知识评估基准:地址:[https://github.com/SJTU-LIT/ceval](https://github.com/SJTU-LIT/ceval)简介:构造了一个覆盖人文,社科,理工,其他专业四个大方向,52个学科(微积分,线代…),从中学到大学研究生以及职业考试,一共13948道题目的中文知识和推理型测试集。此外还给出了当前主流中文LLM的评测结果。SuperCLUElyb:SuperCLUE琅琊榜地址:[https://github.com/CLUEbenchmark/SuperCLUElyb](https://github.com/CLUEbenchmark/SuperCLUElyb)简介:中文通用大模型匿名对战评价基准,这是一个中文通用大模型对战评价基准,它以众包的方式提供匿名、随机的对战。他们发布了初步的结果和基于Elo评级系统的排行榜。

小七姐:文心一言4.0、智谱清言、KimiChat 小样本测评

测评三家国产大模型,以同组提示词下ChatGPT 4.0生成的内容做对标参照[智谱清言](https://chatglm.cn/main/detail)[文心一言4.0](https://yiyan.baidu.com/)[Kimi Chat](https://kimi.moonshot.cn/chat/)[heading3]二、能力考量[content]复杂提示词理解和执行(结构化提示词)推理能力(CoT表现)文本生成能力(写作要求执行)提示词设计能力(让模型设计提示词)长文本归纳总结能力(论文阅读)[heading3]三、测评轮次[heading4]第一轮:复杂提示词理解和执行[content]1.任务一:Markdown+英文title提示词测试,1个任务4个模型(4次)2.任务二:Markdown+中文title提示词测试,1个任务4个模型(4次)3.任务三:中文title+自然段落提示词测试,1个任务4个模型(4次)[heading4]第二轮:推理能力(CoT表现)[content]逐步推理任务,遍历3个不同类型任务+4个大模型(12次)[heading4]第三轮:文本生成能力(写作要求执行)[content]根据提示词生成文本任务,遍历3个不同类型任务+4个大模型(12次)[heading4]第四轮:提示词设计能力(让模型设计提示词)[content]按提示词要求生成提示词,逐步推理任务,遍历3个不同类型任务+4个大模型(12次)[heading4]第五轮:长文本归纳总结能力(论文阅读)[content]按提供的长文本(上传或在线)进行归纳总结,逐步推理任务,遍历3个不同类型任务+4个大模型(12次)

Others are asking
superclue 在国内的评测里面什么地位,国外对标的评测是什么
在国内的评测中,SuperCLUE 是大模型时代 CLUE 基准的发展和延续,聚焦于通用大模型的综合性测评。在 SuperCLUE 测评中,国外模型的平均成绩为 69.42 分,国内模型平均成绩为 65.95 分,差距在 4 分左右。国内外的平均水平差距在缩小,11 月差距在 10 分左右。 SuperCLUE 是中文语言理解测评基准 CLUE 的发展,发起于 2019 年,陆续推出了多种广为引用的测评基准。它根据多年的测评经验,构建了多层次、多维度的综合性测评基准。SuperCLUE 始终秉持中立、客观的第三方测评理念,采用自动化方式的客观评估,降低评测过程中的人为评估的不确定性。 国外对标的评测没有明确提及。
2025-01-07
帮我查一下这四家主流大模型的应用能力评测报告吧,通用能力和单项能力都可,数据需要权威一些文心一言 文心一格 通义千问 通义万相 讯飞星火 ai小科 智谱
以下是为您找到的关于主流大模型应用能力评测的相关报告: 小七姐的测评: 测评机制:以同组提示词下 ChatGPT 4.0 生成的内容做对标参照,对智谱清言、文心一言 4.0、Kimi Chat 进行测评。 能力考量:包括复杂提示词理解和执行(结构化提示词)、推理能力(CoT 表现)、文本生成能力(写作要求执行)、提示词设计能力(让模型设计提示词)、长文本归纳总结能力(论文阅读)。 测评轮次:共分为五轮,分别针对不同的任务和模型进行多次测试。 中文大模型基准测评 2023 年度报告: 优秀模型:文心一言 4.0 API(百度)。 模型特点:在计算、逻辑推理、生成与创作、传统安全这 4 大基础能力上排名国内第一,在代码、知识与百科、语言理解与抽取、工具使用能力上排名国内前三,各项能力表现均衡且水平较高。 适合应用:能力栈广泛,可应用于查询搜索知识应用、任务拆解规划 Agent、文案写作、代码编写及纠错等方面,在逻辑推理方面表现不俗,可关注在科学研究、教育、工业方面的落地能力。 观点文章中的测评: 目前体验效果比较好的有科大星火模型、清华 ChatGLM、百度文心一言。 星火目前感觉最接近 GPT3.5(0301 版本)的 80%90%,但 GPT3.5 进化到 6 月版本效果更强。 对大模型的评估可从基础能力、职场能力、探索对话三个方面判断,基础能力包括语言(文本)生成和语言理解,如常识类问题和分词类问题。
2024-12-27
评测模型生图好坏的标准
评测模型生图好坏的标准主要包括以下几个方面: 1. 模型选择: 基础模型(Checkpoint):生图必需,不同模型适用于不同主题。 Lora:低阶自适应模型,可用于精细控制面部、材质、物品等细节。 ControlNet:控制图片中特定图像,如人物姿态、生成特定文字等。 VAE:类似于滤镜,可调整生图饱和度。 2. 提示词设置: 正向提示词(Prompt):描述想要 AI 生成的内容。 负向提示词(Negative Prompt):描述想要 AI 避免产生的内容。 3. 图片视觉质量: 自然度和美观度是关键指标。 可从数据和训练方法两方面提升,如使用特定的网络结构。 4. 文字生成能力: 目前未有模型具有良好的中文文字生成能力。 提升中文文字生成能力需从多方面准备数据。 需要注意的是,模型生图的效果并非完全由这些标准决定,还可能受到其他因素的影响,需要不断尝试和学习以获得更好的生图效果。
2024-12-26
多模图生文评测集
以下是关于多模图生文评测集的相关信息: 为全面比较 Kolors 与其他模型的生成能力,构建了包含人工评估、机器评估的全面评测内容。构建了包含 14 种垂类、12 个挑战项、总数量为一千多个 prompt 的文生图评估集 KolorsPrompts。在 KolorsPrompts 上,收集了 Kolors 与市面上常见的 SOTA 级别的开源/闭源系统的文生图结果,并进行了人工评测和机器评测。 人工评测方面,邀请了 50 个具有图像领域知识的专业评估人员对不同模型的生成结果进行对比评估,衡量维度为画面质量、图文相关性、整体满意度三个方面。Kolors 在整体满意度方面处于最优水平,其中画面质量显著领先其他模型。具体的平均分数如下: AdobeFirefly:整体满意度平均分 3.03,画面质量平均分 3.46,图文相关性平均分 3.84。 Stable Diffusion 3:整体满意度平均分 3.26,画面质量平均分 3.5,图文相关性平均分 4.2。 DALLE 3:整体满意度平均分 3.32,画面质量平均分 3.54,图文相关性平均分 4.22。 Midjourneyv5:整体满意度平均分 3.32,画面质量平均分 3.68,图文相关性平均分 4.02。 Playgroundv2.5:整体满意度平均分 3.37,画面质量平均分 3.73,图文相关性平均分 4.04。 Midjourneyv6:整体满意度平均分 3.58,画面质量平均分 3.92,图文相关性平均分 4.18。 Kolors:整体满意度平均分 3.59,画面质量平均分 3.99,图文相关性平均分 4.17。所有模型结果取自 2024.04 的产品版本。 Kolors 开源模型相关: 2024.07.03,Kolors 在智源研究院评测中取得第二名,其中中文主观质量、英文主观质量两个单项排名第一。 2024.07.02,祝贺,可图项目组提出的可控视频生成方法被 ECCV 2024 接收。 2024.02.08,祝贺,可图项目组提出的生成模型评估方法被 CVPR 2024 接收。 多模态大模型入门指南: 训练过程: 预训练阶段:通常利用 XText 的数据集,来训练输入、输出的 Projector。通过优化损失函数来实现不同模态的对齐。PEFT 有时候用于 LLM Backbone。X文本数据集包含图像文本、视频文本和音频文本,其中图像文本有两种类型:图像文本对(即<img1><txt1>)和交错图像文本语料库(即,txt1><img1><txt2><txt3><img2><txt4>)。这些 XText 数据集的详细统计数据如附录 F 的表 3 所示。 多模态微调:对满足指令微调格式的一系列数据集对预训练好的多模态大模型进行微调。通过这种微调,MMLLM 可以遵循新的指令泛化到没有见过的任务,增强 zeroshot 的能力。MM IT 包括监督微调(SFT)和 RLHF 两部分,目的是为了使得模型符合人类的意图或者偏好,并且增强 MMLLMs 的交互能力。SFT 将 PT 阶段的数据转换为指令aware 的格式,使用 QA 任务作为例子。可以采用各种模板。优化目标和预训练相同,SFT 数据可以构造为单轮的 QA 或者多轮的 QA。常用的 SFT 和 RLHF 的数据集见表 4。
2024-12-06
图生文评测集
以下是关于图生文评测集的相关内容: 为全面比较 Kolors 与其他模型的生成能力,构建了包含人工评估、机器评估的全面评测内容。在相关基准评测中,Kolors 表现有竞争力,达业界领先水平。构建了包含 14 种垂类、12 个挑战项、总数量一千多个 prompt 的文生图评估集 KolorsPrompts。在 KolorsPrompts 上,收集了 Kolors 与常见 SOTA 级别开源/闭源系统的文生图结果,并进行人工评测和机器评测。 人工评测方面,邀请 50 个具有图像领域知识的专业评估人员对不同模型生成结果对比评估,衡量维度为画面质量、图文相关性、整体满意度。Kolors 在整体满意度方面最优,画面质量显著领先其他模型。具体平均分如下: |模型|整体满意度平均分|画面质量平均分|图文相关性平均分| ||||| |AdobeFirefly|3.03|3.46|3.84| |Stable Diffusion 3|3.26|3.5|4.2| |DALLE 3|3.32|3.54|4.22| |Midjourneyv5|3.32|3.68|4.02| |Playgroundv2.5|3.37|3.73|4.04| |Midjourneyv6|3.58|3.92|4.18| |Kolors|3.59|3.99|4.17| 此外,还有关于 Vidu 大家测试和 Tusiart 简易上手教程的相关信息: Vidu 全球上线,注册即刻体验。Web 端访问:https://www.vidu.studio/ ,具有极速生成(实测 30 秒最快推理速度)、动漫风格、角色可控、精准理解、大片质感等特点。同时提供了“文生视频”“图生视频(用作起始帧)”“参考人物角色生成视频”的使用指南及相关视频链接。 Tusiart 简易上手教程中,文生图的相关要点包括:提示词相关性(数字在 5 15 之间为宜)、随机种子、ADetailer(面部修复插件)、CLIP skip(设成 2 )。
2024-12-06
大模型排名以及排名的评测标准维度是什么
以下是一些常见的大模型排名及评测标准维度: FlagEval(天秤)大模型评测体系及开放平台: 地址: 简介:旨在建立科学、公正、开放的评测基准、方法、工具集,协助研究人员全方位评估基础模型及训练算法的性能,同时探索利用 AI 方法实现对主观评测的辅助,大幅提升评测的效率和客观性。创新构建了“能力任务指标”三维评测框架,细粒度刻画基础模型的认知能力边界,可视化呈现评测结果。 CEval: 地址: 简介:构造了一个覆盖人文,社科,理工,其他专业四个大方向,52 个学科(微积分,线代…),从中学到大学研究生以及职业考试,一共 13948 道题目的中文知识和推理型测试集。此外还给出了当前主流中文 LLM 的评测结果。 SuperCLUElyb: 地址: 简介:中文通用大模型匿名对战评价基准,这是一个中文通用大模型对战评价基准,它以众包的方式提供匿名、随机的对战。他们发布了初步的结果和基于 Elo 评级系统的排行榜。 斯坦福发布的大模型排行榜 AlpacaEval: 项目链接:https://github.com/tatsulab/alpaca_eval 排行榜链接:https://tatsulab.github.io/alpaca_eval/ 该研究团队选择了目前在开源社区很火的开源模型,还有 GPT4、PaLM 2 等众多「闭源」模型,甚至还开设了一个「准中文」排行榜。 AlpacaEval 分为以 GPT4 和 Claude 为元标注器的两个子榜单。 在斯坦福的这个 GPT4 评估榜单中: GPT4 稳居第一,胜率超过了 95%;胜率都在 80%以上的 Claude 和 ChatGPT 分别排名第二和第三,其中 Claude 以不到 3%的优势超越 ChatGPT。 值得关注的是,获得第四名的是一位排位赛新人——微软华人团队发布的 WizardLM。在所有开源模型中,WizardLM 以仅 130 亿的参数版本排名第一,击败了 650 亿参数量的 Guanaco。 而在开源模型中的佼佼者 Vicuna 发挥依然稳定,凭借着超过 70%的胜率排在第六,胜率紧追 Guanaco 65B。 最近大火的 Falcon Instruct 40B 表现不佳,仅位居 12 名,略高于 Alpaca Farm 7B。 AlpacaEval 的技术细节: 人类一致性:标注者与交叉标注集中人类多数票之间的一致性。 价格:每 1000 个标注的平均价格。 时间:计算 1000 个标注所需的平均时间。相对于人工标注,全自动化的 AlpacaEval 仅需花费约 1/22 的经济成本和 1/25 的时间成本。 AlpacaEval 评估模型的方式: alpaca_eval:直接根据目标模型输出的响应来评估模型。 alpaca_eval evaluate_from_model:根据 HuggingFace 已注册模型或这 API 提供商来端到端评测模型。 评测过程分为以下 3 步: 1. 选择一个评估集,并计算指定为 model_outputs 的输出。默认情况下,使用来自 AlpacaEval 的 805 个示例。 2. 计算 golden 输出 reference_outputs。默认情况下,在 AlpacaEval 上使用 textdavinci003 的输出。 3. 通过 annotators_config 选择指定的自动标注器,它将根据 model_outputs 和 reference_outputs 计算胜率。这里建议使用 alpaca_eval_gpt4 或 claude。根据不同的标注器,使用者还需要在环境配置中设定 API_KEY。
2024-11-12
个人怎么在本地搭建AI大模型
个人在本地搭建 AI 大模型可以参考以下步骤: 1. 选择合适的部署方式:包括本地环境部署、云计算平台部署、分布式部署、模型压缩和量化、公共云服务商部署等,根据自身的资源、安全和性能需求进行选择。 2. 准备训练所需的数据和计算资源:确保有足够的训练数据覆盖目标应用场景,并准备足够的计算资源,如 GPU 服务器或云计算资源。 3. 选择合适的预训练模型作为基础:可以使用开源的预训练模型如 BERT、GPT 等,也可以自行训练一个基础模型。 4. 针对目标任务进行模型微调训练:根据具体应用场景对预训练模型进行微调训练,优化模型结构和训练过程以提高性能。 5. 部署和调试模型:将训练好的模型部署到生产环境,并对部署的模型进行在线调试和性能优化。 6. 注意安全性和隐私保护:大模型涉及大量数据和隐私信息,需要重视安全性和合规性。 如果想要对知识库进行更加灵活的掌控,可以使用 AnythingLLM 软件。其安装地址为:https://useanything.com/download 。安装完成后进入配置页面,主要分为三步: 1. 第一步:选择大模型。 2. 第二步:选择文本嵌入模型。 3. 第三步:选择向量数据库。 在 AnythingLLM 中,有一个 Workspace 的概念,可以创建自己独有的 Workspace 跟其他的项目数据进行隔离。具体操作包括: 1. 首先创建一个工作空间。 2. 上传文档并且在工作空间中进行文本嵌入。 3. 选择对话模式,AnythingLLM 提供了两种对话模式:Chat 模式(大模型会根据自己的训练数据和上传的文档数据综合给出答案)和 Query 模式(大模型仅仅会依靠文档中的数据给出答案)。 4. 测试对话。 本文的思路来源于视频号博主黄益贺,按照他的视频进行实操,并附加了一些关于 RAG 的额外知识。读完本文,您将学习到如何使用 Ollama 一键部署本地大模型,通过搭建本地的聊天工具,了解 ChatGPT 的信息流转,RAG 的概念以及所用到的一些核心技术,如何通过 AnythingLLM 这款软件搭建完全本地化的数据库。
2025-01-17
如何搭建个人AI大模型
搭建个人 AI 大模型主要包括以下步骤: 1. 选择合适的部署方式: 本地环境部署。 云计算平台部署。 分布式部署。 模型压缩和量化。 公共云服务商部署。需根据自身的资源、安全和性能需求进行选择。 2. 准备训练所需的数据和计算资源: 确保有足够的训练数据覆盖目标应用场景。 准备足够的计算资源,如 GPU 服务器或云计算资源。 3. 选择合适的预训练模型作为基础: 可以使用开源的预训练模型如 BERT、GPT 等。 也可以自行训练一个基础模型。 4. 针对目标任务进行模型微调训练: 根据具体应用场景对预训练模型进行微调训练。 优化模型结构和训练过程以提高性能。 5. 部署和调试模型: 将训练好的模型部署到生产环境。 对部署的模型进行在线调试和性能优化。 6. 注意安全性和隐私保护: 大模型涉及大量数据和隐私信息,需要重视安全性和合规性。 此外,还有一种全程白嫖搭建拥有一个 AI 大模型的微信助手的方法: 1. 搭建,用于汇聚整合多种大模型接口,并了解如何白嫖大模型接口。 2. 搭建,这是一个知识库问答系统,将知识文件放入,并接入上面的大模型作为分析知识库的大脑,若不想接入微信,搭建到此即可,其本身有问答界面。 3. 搭建。 大模型的构建过程包括: 1. 收集海量数据:如同让孩子阅读大量书籍等,研究人员会收集互联网上的文章、书籍、维基百科条目、社交媒体帖子等各种文本数据。 2. 预处理数据:如同为孩子整理资料,研究人员需要清理和组织收集到的数据,如删除垃圾信息、纠正拼写错误、将文本分割成易于处理的片段。 3. 设计模型架构:如同为孩子设计学习计划,研究人员需要设计 AI 模型的“大脑”结构,通常是一个复杂的神经网络,如 Transformer 架构。 4. 训练模型:如同孩子开始阅读和学习,AI 模型开始“阅读”提供的数据,通过反复尝试预测句子中的下一个词等方式,逐渐学会理解和生成人类语言。
2025-01-17
知识模型对个人有什么用
知识模型对个人具有以下作用: 1. 扩展记忆与智力:OpenAI 的首席科学家伊尔亚·苏茨克维认为,高效压缩信息即得到知识,而 GPT3 及 GPT4 等模型虽通过预测下一个单词进行工作,但已包含世界信息且能持续提高能力。 2. 构建个人知识库:虽然个人搭建本地知识库可能面临机器配置要求较高的问题,如运行大模型需要较高的硬件配置,如生成文字大模型的最低配置为 8G RAM + 4G VRAM,建议配置为 16G RAM + 8G VRAM,理想配置为 32G RAM + 24G VRAM(若要跑 GPT3.5 差不多性能的大模型);生成图片大模型的最低配置为 16G RAM + 4G VRAM,建议配置为 32G RAM + 12G VRAM;生成音频大模型的最低配置为 8G VRAM 等。但实操可以加深对大模型构建的知识库底层原理的了解。 3. 形成外脑(ExoBrain):利用软件工具和大语言模型相关技术扩展记忆和智力的新机制或系统,被称为外脑。语言模型是心智界面,如 ChatGPT 等,除用储备的知识库响应问题外,还能理解复杂文档、生成想法甚至驱动其他软件完成任务,如同心灵副驾,通过自然语言输入和输出实现快速理解、记忆唤起、想法连接和驱动外部软件自动工作。
2025-01-17
Claude大模型背后是什么公司
Claude 大模型背后的公司是 Anthropic。Claude 系列在前段时间推出了 Claude3.5Sonnet 等模型,并且在代码生成等方面表现出色。同时,Anthropic 公司的 Claude 还具有较大的上下文窗口等特点。
2025-01-17
如何部署私有大语言模型?
部署私有大语言模型通常包括以下步骤: 1. 部署大语言模型: 下载并安装 Ollama:根据您的电脑系统,从 https://ollama.com/download 下载 Ollama。下载完成后,双击打开,点击“Install”。安装完成后,将下方地址复制进浏览器中。如果出现下方字样,表示安装完成:http://127.0.0.1:11434/。 下载模型:如 qwen2:0.5b 模型(0.5b 是为了方便测试,下载快,自己设备充足的话,可以下载更大的模型)。如果是 Windows 电脑,点击 win+R,输入 cmd,点击回车;如果是 Mac 电脑,按下 Command(⌘)+Space 键打开 Spotlight 搜索,输入“Terminal”或“终端”,然后从搜索结果中选择“终端”应用程序。复制相关命令行,粘贴进入,点击回车。等待下载完成。 2. 部署 Google Gemma: 进入 ollama.com,下载程序并安装(支持 windows,linux 和 macos)。 查找 cmd 进入命令提示符,输入 ollama v 检查版本,安装完成后版本应该显示 0.1.26,cls 清空屏幕。 直接输入 ollama run gemma 运行模型(默认是 2b),首次需要下载,需要等待一段时间,如果想用 7b,运行 ollama run gemma:7b 。完成以后就可以直接对话。 3. 关于 Ollama 的其他特点: 支持多种大型语言模型,包括通义千问、Llama 2、Mistral 和 Gemma 等,适用于不同应用场景。 易于使用,适用于 macOS、Windows 和 Linux 系统,同时支持 cpu 和 gpu。 提供模型库,用户可从中下载不同模型,满足不同需求和硬件条件。模型库可通过 https://ollama.com/library 查找。 支持自定义模型,可修改模型的温度参数等。 提供 REST API,用于运行和管理模型,以及与其他应用程序的集成选项。 社区贡献丰富,包括多种集成插件和界面。 总的来说,Ollama 是一个方便用户在本地运行和管理大型语言模型的框架,具有良好的可扩展性和多样的使用场景。安装完之后,确保 ollama 后台服务已启动(在 mac 上启动 ollama 应用程序即可,在 linux 上可以通过 ollama serve 启动)。可以通过 ollama list 进行确认。
2025-01-17
是什么大模型
大模型通俗来讲,是输入大量语料,让计算机获得类似人类的“思考”能力,从而能够理解自然语言,并进行文本生成、推理问答、对话、文档摘要等工作。 大模型的训练和使用过程可以用“上学参加工作”来类比: 1. 找学校:训练大模型需要大量计算,GPU 更合适,只有购买得起大量 GPU 的才有资本训练自己的大模型。 2. 确定教材:大模型需要的数据量特别多,几千亿序列(Token)的输入基本是标配。 3. 找老师:即用合适的算法讲述“书本”中的内容,让大模型更好理解 Token 之间的关系。 4. 就业指导:为了让大模型更好胜任某一行业,需要进行微调(fine tuning)指导。 5. 搬砖:就业指导完成后,正式干活,比如进行翻译、问答等,在大模型里称之为推导(infer)。 在 LLM 中,Token 被视为模型处理和生成的文本单位,可代表单个字符、单词、子单词等。Token 会被数字化形成词汇表,便于计算机处理。为让计算机理解 Token 之间的联系,还需把 Token 表示成稠密矩阵向量,这个过程称为 embedding,常见算法有基于统计的 Word2Vec、GloVe,基于深度网络的 CNN、RNN/LSTM,基于神经网络的 BERT、Doc2Vec 等。以 Transform 为代表的大模型采用自注意力(Selfattention)机制来学习不同 token 之间的依赖关系,生成高质量 embedding。 大模型的“大”指用于表达 token 之间关系的参数多,主要是模型中的权重(weight)与偏置(bias),例如 GPT3 拥有 1750 亿参数。 从原理角度,传统机器学习是 p,但这个通用模型未经人工标注,什么都能学会。给出的 Prompt 其实就是 x,让大模型基于 x 知道概率最大的 y,避免人工标注,但依赖 x 给入的信息,更大概率找到合适的 y。比如给一张照片,输入这是一个动物,这是什么,大模型根据输入提取照片特征和提示,最终返回猫。
2025-01-17