以下是最近一个月令人惊艳的开源大模型:
虽然我们的模型在质量方面仍然稍占优势,但差距正在迅速缩小。开源模型更快、更可定制、更私密,而且在性能上更胜一筹。他们用100美元和13B个参数做的事情,我们用1000万美元和540B个参数仍然很困难。而且他们只需要几周的时间,而不是几个月的时间。这对我们有深远的影响:我们没有秘密武器。我们最好的希望是从谷歌之外的其他人所做的事情中学习并合作。我们应该优先考虑启用第三方集成。当免费、不受限制的替代品在质量上相当时,人们不会为受限制的模型付费。我们应该考虑我们真正的价值所在。巨型模型正在拖慢我们的速度。从长远来看,最好的模型是那些可以快速迭代的。既然我们知道在小于20B参数范围内可能实现什么,我们应该将小变体视为重要的事情,而不是事后的想法。作者:BigYe程普链接:https://juejin.cn/post/7229593695653314597来源:稀土掘金著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。[heading2]What Happened[content]三月初,开源社区得到了他们的第一个真正有能力的基础模型,Meta的LLaMA泄露给了公众。它没有指令或对话调整,也没有RLHF。尽管如此,社区立即理解了他们所得到的东西的重要性。紧接着是一系列惊人的创新,每个重大进展之间仅相隔数天(详见时间轴)。现在,仅仅一个月后,已经出现了具有指令调整、量化、质量改进、人类评估、多模态、RLHF等变体,其中许多变体都是相互建立的。最重要的是,他们已经解决了扩展问题,以至于任何人都可以进行调整。许多新想法来自普通人。培训和实验的准入门槛已经从一个主要研究机构的总产出降至一个人、一个晚上和一台强大的笔记本电脑。
1.模型✦过去两个月,我们共同见证了一场席卷全球AI领域的风云巨变。✦o1惊艳问世后,全世界的大模型团队都想找到OpenAI藏起来钥匙。没想到,最先踹开这扇门的是一家「名不见经传」的中国公司——DeepSeek。1月20日,DeepSeek宣布开源R1模型和相关论文,将整个大模型行业急速推进到了推理时代(Test-Time Scaling)。✦起初,我们以为这只是一次技术圈层的突破,完全没料到它会引发如此深刻的影响,甚至撼动了世界格局。美股暴跌1.2万亿,中美在AI领域频繁交锋;国内厂商纷纷接入R1并拉爆宣传,自家模型研发团队的脸面被按在地上摩擦;春节期间家喻户晓街头巷议,AI真正「飞入寻常百姓家」;而风暴中心的DeepSeek默默不语,只是不停地开源。✦Scaling Law再一次「续命」成功。这次的终点会是哪里呢?Sam Altman说是——AGI。2.图像✦图像模型近期没有大的突破,整体在往更快、更便宜的方向发展了。✦AI图像生成去年就已经跨过了真假难辨的临界点,成为最常用的生产力工具之一。从LibLibAI一年融资数亿就能看出来,资本市场已经非常看好这条赛道。3.视频✦视频模型的底层架构没有大的变化,大家都在做一些细节的优化,例如视频音效生成在逐渐成为标配。
《[AI似乎在向着奇怪的方向飞奔](https://mp.weixin.qq.com/s/cXktu3BDUee-s2L8Z0wXYA)》作者JioNLP从AI发展方向争论谈起:杨植麟支持技术创新,朱啸虎提倡跟随OpenAI。互联网寒冬下,AI火爆,但找需求仍困难。AI大模型虽进步,但仍替代不了大部分人类工作。找AI落地点急切,但需求匮乏,盲目探索无果。《[大模型月度回顾·2024年4月](https://mp.weixin.qq.com/s/R4HgAW6pL_P_hGWFGFi0_Q)》作者ADFeed,这是我看到非常全面详细的大模型月度回顾文章,非常清晰直观展示了上个月的大模型进展。包括不限于:1.谷歌在Google Cloud Next 2024上发布一系列生成式AI产品和服务,包括优化AI基础设施、Gemini 1.5 Pro、Vertex AI等。2.OpenAI发布了GPT-4 Turbo模型,并开源评估框架simple-evals,取得在Chatbot Arena中的首位。3.xAI发布了首个多模态模型Grok-1.5V的预览版,在多模态理解和物理世界理解方面取得显著进展。4.微软WizardLM团队发布WizardLM-2,首次在MT-Bench上超越GPT-4,但随后紧急撤回进行毒性测试。5.Mistral AI开源了Mistral 8x22B模型,具有多语言能力、数学和编程能力、成本效率等优势。6.Meta发布拥有4000亿参数的开源大模型Llama 3,提升了性能并分为不同规模版本。