对比不同大语言模型的性能需要考虑多个维度,包括但不限于以下方面:
为了进行有效的比较,可以采用以下方法:
当前领先的大型语言模型的排行榜,例如聊天机器人竞技场,由伯克利的团队管理,根据 ELO 评级对不同语言模型进行排名,计算方式与国际象棋中的类似。在排行榜中,顶部多为专有模型,下方有开放权重的模型。
大语言模型的特点包括:
对比不同大型语言模型的性能需要考虑多个维度,包括但不限于以下几个方面:1.理解能力:评估模型对语言的理解程度,包括对语法、语义、上下文和隐含意义的理解。2.生成质量:检查模型生成的文本的质量,包括文本的流畅性、相关性和准确性。3.知识广度和深度:评估模型对广泛主题的知识掌握程度,以及它对特定领域或话题的理解深度。4.泛化能力:测试模型在处理未见过的任务或数据时的表现,这反映了模型的泛化能力。5.鲁棒性:检查模型对错误输入、对抗性输入或模糊不清的指令的应对能力。6.偏见和伦理:评估模型生成文本时是否存在偏见,以及模型是否遵循伦理标准。7.交互性和适应性:评估模型在交互环境中的表现,包括对用户反馈的适应性和持续对话的能力。8.计算效率和资源消耗:考虑模型的大小、训练和运行所需的计算资源。9.易用性和集成性:评估模型是否易于集成到不同的应用和服务中,以及提供的API和工具的易用性。为了进行有效的比较,可以采用以下方法:标准基准测试:使用标准的语言模型评估基准,如GLUE、SuperGLUE、SQuAD等,这些基准提供了统一的测试环境和评分标准。自定义任务:根据特定需求设计任务,以评估模型在特定领域的表现。人类评估:结合人类评估者的主观评价,特别是在评估文本质量和伦理问题时。A/B测试:在实际应用场景中,通过A/B测试比较不同模型的表现。性能指标:使用包括准确率、召回率、F1分数、BLEU分数等在内的性能指标来量化比较。
我想提的另一件事是,我之前天真地描述了人类完成所有这些体力工作的过程。但这并不完全正确,而且它越来越不正确。这是因为这些语言模型同时变得更好。你基本上可以使用人机协作来创建这些标签,随着效率和正确性的提高。例如,你可以使用这些语言模型来获取示例答案。然后人们会挑选部分答案来创建一种单一的最佳答案。或者你可以要求这些模型尝试检查你的工作。或者你可以尝试让他们进行比较。然后你就像是一个监督角色。所以这是一种你可以确定的滑块。而且这些模型越来越好。我们正在将滑块向右移动。比较、标记文档、RLHF、合成数据、排行榜好的,最后,我想向你展示当前领先的大型语言模型的排行榜。例如,这就是聊天机器人竞技场。它由伯克利的一个团队管理。他们在这里所做的是根据ELO评级对不同的语言模型进行排名。计算ELO的方式与国际象棋中的计算方式非常相似。所以不同的棋手互相对弈。根据彼此的胜率,你可以计算他们的ELO分数。你可以使用语言模型做完全相同的事情。所以你可以访问这个网站,输入一些问题,你会得到两个模型的响应,你不知道它们是由什么模型生成的,然后你选择获胜者。然后根据谁赢谁输,你就可以计算出ELO分数。所以越高越好。所以你在这里看到的是,拥挤在顶部的是专有模型。这些是封闭模型,你无法访问权重,它们通常位于网络界面后面。这是OpenAI的GPT系列,以及Anthropic的Claude系列。还有其他公司的一些其他系列。所以这些是目前表现最好的模型。然后就在其下方,你将开始看到一些开放权重的模型。因此,这些权重是可用的,人们对它们有更多了解,通常有相关论文可用。例如,Meta的Llama2系列就是这种情况。或者在底部,你可以看到Zephyr 7b Beta,它基于法国另一家初创公司的Mistral系列。
encoder-only:这些模型通常适用于可以自然语言理解任务,例如分类和情感分析.最知名的代表模型是BERTencoder-decoder:此类模型同时结合了Transformer架构的encoder和decoder来理解和生成内容。该架构的一些用例包括翻译和摘要。encoder-decoder的代表是google的T5decoder-only:此类模型更擅长自然语言生成任务。典型使用包括故事写作和博客生成。这也是我们现在所熟知的众多AI助手的结构我们目前耳熟能详的AI助手基本都来自左侧的灰色分支,当然也包括ChatGPT。这些架构都是根据谷歌2017年发布的论文“attention is all you need”中提出的transformer衍生而来的,在transformer中,包括Encoder,Decoder两个结构目前的大型语言模型就是右侧只使用Decoder的Decoder-only架构的模型大模型又大在哪呢?第一,大模型的预训练数据非常大,这些数据往往来自于互联网上,包括论文,代码,以及可进行爬取的公开网页等等,一般来说,现在最先进的大模型一般都是用TB级别的数据进行预训练。第二,参数非常多,Open在2020年发布的GPT-3就已经达到170B的参数在GPT3中,模型可以根据用户输入的任务描述,或给出详细的例子,完成任务但这与我们熟知的ChatGPT仍然有着很大的差距,使用ChatGPT只需要像和人类一样对话,就可以完成任务。除了形式上的不同之外,还有一个更加重要的差距,那就是安全性上的差别。