目前国内较为强大的 AI 模型有:
同时,由 DeepSeek、零一万物、知谱 AI 和阿里巴巴开发的模型在 LMSYS 排行榜上取得了优异的成绩,尤其在数学和编程方面表现出色。中国的一些模型在某些方面能与美国的前沿模型竞争,并且更注重计算效率和数据集建设来弥补资源上的不足。但总体而言,国内最领先的模型水平大概在准 ChatGPT3.5 的水平,和 GPT4 还有不小差距。
智谱:一年间推出了4代GLM,一直是国内能力最好的模型之一MiniMax:推出了MoE架构的新模型,和”星野“这个目前国内最成功的AI陪聊APP月之暗面:专注长Token能力,在记忆力和长Token能力上可圈可点其他的我暂时不列了,在2023年官宣AI大模型的公司非常多,其中免不了很多是蹭流量的。以及,大模型确实有门槛,融了资的公司还有些钱花,我们可以多给一些时间看2024年的结果。(判断的方式并不客观,欢迎讨论)从产品层面上,2C端唯一真正出圈的是“妙鸭相机”,不过也只是昙花一现。大多数消费者对于AI产品的态度是“猎奇”,而非刚需。在2B行业中,大模型目前还是“纯技术投入”,对于收入撬动非常有限;而卖AI的大厂们实际上的目的是为了卖云……最后,硬件层上的卡脖子并没有缓解。目前国内仍然没有芯片可以胜任大模型训练。不过在推理上已经开始有Nvidia的替代产品逐渐出现。备受瞩目的华为昇腾在单卡指标上距离不远,但因为稳定性不足和缺乏Cuda(硬件编译库)生态,仍然需要时间打磨。美国对于国内的芯片禁运在未来还会进一步加深;因此,除了卷模型之外,基于昇腾生态的软-硬件创业是一个机会,而且是更确定的机会。
从业内人的角度,ChatGPT和GPT4的出现时最令人惊讶的,不是它的能力,而是保密工作做的太好。2023之前国内AI行业还处在沾沾自喜,自认为和美国只有个把月差距,而且还有人口数据优势;这种论调一下子被GPT4打回了原形。OpenAI在国内完全没有预警的情况下,直接拉开2年技术差距。具体原因,可能是国内的骄傲自大,可能是被之前Google主推的T5技术路线带偏,也可能是因为AGI实在是影响过于巨大,FBI、美国国防部这些国家机关不可能没和OpenAI打过招呼。OpenAI的成功是大力出奇迹,所以23年上半年国内也笃信只要有卡有钱就可以“大炼钢铁”。那时不论是纷纷囤卡招人,研究类GPT架构的大厂们,还是讲着中国OpenAI的故事,拿着巨额融资的创业公司们,都想要第一个创造国产AGI。而到了下半年,在试验了一番发现不容易之后,又纷纷转向要做“垂直应用”、“商业化”;反而不提AGI了。这个转向是短视的,甚至是致命的。2023年,中美在AGI技术的差距并没有缩小。现在,国内最领先的模型水平大概在准ChatGPT3.5的水平,和GPT4还有不小差距;甚至还不如临时拼凑的Mistral团队的水平。大厂。大厂们无论是人才、GPU、数据,还是资金储备都是可以冲击AGI的,不过从实际效果上来看还并没有明确亮点。但与此同时,受内部短期考核压力的裹挟,大多数力量应该都放在卷新产品圈地盘和向上汇报工作上了。从另一个角度,这些模型虽然能力一般,但和业务的结合都是比较充分的。最后,大厂们同时背负了太多其他业务和政治考量:对于是否做大模型的出头鸟,很多公司都是要三思的。具体来讲,百度和阿里是大厂里比较高调:百度的“文心4.0”是当前国内能力最好的模型之一,即将发布的阿里的“通义千问
Llama 3.1是迄今为止最大版本,其在推理、数学、多语言和长上下文任务中能够与GPT-4相抗衡。这标志首次开放模型缩小与专有前沿的差距。上图为人们关于Llama 3.1 405B与GPT,Claude的评估,win:胜Tie:平Loss:输借助AlphaGeometry,符号推理引擎得以拯救谷歌DeepMind与纽约大学团队使用符号引擎生成了数百万条合成定理和证明,利用这些数据从零开始训练了一个语言模型。AlphaGeometry在语言模型提出新构造,与符号引擎执行推理交替进行,直至找到解决方案。令人印象深刻的是,AlphaGeometry在奥林匹克级几何问题基准测试中解决了30题中的25题,接近人类国际数学奥林匹克金牌得主的表现。第二好的AI表现仅得10分。它还展示了泛化能力——例如,发现2004年国际数学奥林匹克问题中的一个具体细节对于证明并非必要“尽管受到制裁,中国LLMs在排行榜上风头正劲”由DeepSeek、零一万物、知谱AI和阿里巴巴开发的模型在LMSYS排行榜上取得了优异的成绩,尤其在数学和编程方面表现尤为出色。中国的最强模型与美国生产的第二强前沿模型竞争,同时在某些子任务上挑战了SOTA。中国模型更能优先考虑计算效率,以弥补GPU访问的限制,并学会比美国同行更有效地利用资源。中国模型各有优势。例如,DeepSeek在推理过程中通过多头隐式注意力减少内存需求,并且改进了MoE架构。同时,零一万物更加关注数据集的建设而不是建筑创新。由于在像Common Crawl这样的流行存储库中相对缺乏数据,因此它更加关注建立强大的中文数据集来弥补不足。