美国有哪些语言模型

用户在形成一些使用习惯后，可能会发现，如果引入内嵌的AI技术，他们的体验会变得更加理想。我觉得，这种技术在文字理解方面，可能会比大多数现有技术要好。这是有道理的。比如一个绘图软件或AI，要想绘制出优秀的作品，首先需要对图像有深刻理解。那么，谁拥有最好的语言模型呢？目前看来，是OpenAI和它的GPT-4模型。因为图像生成（无论是text to image还是text to video）的核心质量，实际上是由文本控制的。去掉图片，只用文字表达，其实要求的模型复杂度会小很多，因为人类对图像的容错率相对较高。但如果一句话语法或逻辑错误，我们很容易察觉。我们的大脑在处理视觉信息时可以进行一定程度的“脑补”，但对于语言，这种补偿是有限的。所以，对于我们这些普通人来说，文字的准确性仍然非常重要。

Llama 3.1是迄今为止最大版本，其在推理、数学、多语言和长上下文任务中能够与GPT-4相抗衡。这标志首次开放模型缩小与专有前沿的差距。上图为人们关于Llama 3.1 405B与GPT,Claude的评估，win:胜Tie:平Loss：输借助AlphaGeometry，符号推理引擎得以拯救谷歌DeepMind与纽约大学团队使用符号引擎生成了数百万条合成定理和证明，利用这些数据从零开始训练了一个语言模型。AlphaGeometry在语言模型提出新构造，与符号引擎执行推理交替进行，直至找到解决方案。令人印象深刻的是，AlphaGeometry在奥林匹克级几何问题基准测试中解决了30题中的25题，接近人类国际数学奥林匹克金牌得主的表现。第二好的AI表现仅得10分。它还展示了泛化能力——例如，发现2004年国际数学奥林匹克问题中的一个具体细节对于证明并非必要“尽管受到制裁，中国LLMs在排行榜上风头正劲”由DeepSeek、零一万物、知谱AI和阿里巴巴开发的模型在LMSYS排行榜上取得了优异的成绩，尤其在数学和编程方面表现尤为出色。中国的最强模型与美国生产的第二强前沿模型竞争，同时在某些子任务上挑战了SOTA。中国模型更能优先考虑计算效率，以弥补GPU访问的限制，并学会比美国同行更有效地利用资源。中国模型各有优势。例如，DeepSeek在推理过程中通过多头隐式注意力减少内存需求，并且改进了MoE架构。同时，零一万物更加关注数据集的建设而不是建筑创新。由于在像Common Crawl这样的流行存储库中相对缺乏数据，因此它更加关注建立强大的中文数据集来弥补不足。

语言模型。我们评估了五个大型语言模型。第一个是GPT-3(Brown等人，2020)，我们使用的是text-ada-001、text-babbage-001、text-curie-001和text-davinci-002，这些模型可能对应于InstructGPT模型，分别有350M、1.3B、6.7B和175B参数(Ouyang等人，2022)。第二个是LaMDA(Thoppilan等人，2022)，它有422M、2B、8B、68B和137B参数的模型。第三个是PaLM，其模型分别有8B、62B和540B参数。第四个是UL2 20B(Tay等人，2022)，第五个是Codex(Chen等人，2021，OpenAI API中的code-davinci-002)。我们通过贪婪解码从模型中采样（尽管后续工作显示，通过取多次采样生成的最后答案的多数票，可以改进思维链提示（Wang等人，2022a））。对于LaMDA，我们报告了五个随机种子的平均结果，其中每个种子都有一个不同的随机洗牌的示例顺序。由于LaMDA的实验在不同的种子之间没有显示出大的差异，为了节省计算资源，我们报告了所有其他模型的单一示例顺序的结果。