以下是关于国内大语言模型能力对比的相关信息:
测评三家国产大模型,以同组提示词下ChatGPT 4.0生成的内容做对标参照[智谱清言](https://chatglm.cn/main/detail)[文心一言4.0](https://yiyan.baidu.com/)[Kimi Chat](https://kimi.moonshot.cn/chat/)[heading3]二、能力考量[content]复杂提示词理解和执行(结构化提示词)推理能力(CoT表现)文本生成能力(写作要求执行)提示词设计能力(让模型设计提示词)长文本归纳总结能力(论文阅读)[heading3]三、测评轮次[heading4]第一轮:复杂提示词理解和执行[content]1.任务一:Markdown+英文title提示词测试,1个任务4个模型(4次)2.任务二:Markdown+中文title提示词测试,1个任务4个模型(4次)3.任务三:中文title+自然段落提示词测试,1个任务4个模型(4次)[heading4]第二轮:推理能力(CoT表现)[content]逐步推理任务,遍历3个不同类型任务+4个大模型(12次)[heading4]第三轮:文本生成能力(写作要求执行)[content]根据提示词生成文本任务,遍历3个不同类型任务+4个大模型(12次)[heading4]第四轮:提示词设计能力(让模型设计提示词)[content]按提示词要求生成提示词,逐步推理任务,遍历3个不同类型任务+4个大模型(12次)[heading4]第五轮:长文本归纳总结能力(论文阅读)[content]按提供的长文本(上传或在线)进行归纳总结,逐步推理任务,遍历3个不同类型任务+4个大模型(12次)
测评分析工具使用,考察模型的能力包括:检索API、调用API、规划API、通用工具使用。在工具使用的测评中,GPT-4 Turbo取得了满分。国内大模型中智谱清言表现不俗,取得了83.78的高分,排名国内模型第一。仅随其后的是文心一言4.0(API)、通义千问2.0、Yi-34B-Chat、AndesGPT均有超过70分的表现。其他国内模型同样有不错的表现,超过GPT3.5的模型有12个。在开源模型中,Baichuan2-13B-Chat、Xverse-13B-2-Caht的表现可圈可点,均超过GPT3.5以及众多闭源模型。总体来看,在工具使用能力上,国内大模型的表现优异,与国内大模型厂商积极落地应用密不可分。
国内外差距依然明显。GP T 4 T u r b o总分90.63分遥遥领先,高于其他国内大模型及国外大模型。其中国内最好模型文心一言4.0(API)总分79.02分,距离GPT4-Turbo有11.61分,距离GPT4(网页)有4.9分的差距。必须看到的是,过去1年国内大模型已经有了长足的进步。综合能力超过G P T 3.5和Gemini-Pro的模型有11个,比如百度的文心一言4.0、阿里云的通义千问2.0和Qw e n 72B-Chat、OPPO的AndesGPT、清华&智谱AI的智谱清言、字节跳动的云雀大模型等都有比较好的表现。国外模型平均成绩VS国内模型平均成绩•在SuperCLUE测评中,国外模型的平均成绩为69.42分,国内模型平均成绩为65.95分,差距在4分左右。另外国内开源模型在中文上表现要好于国外开源模型,如百川智能的Baichuan2-13B-Chat、阿里云的Qwen-72B、Yi-34B-Cha t均优于Llama2-13B-Chat。•可以看出,国内外的平均水平差距在缩小,11月差距在10分左右。