微软的AI方面的投资

在微软这边，虽然巨额投资了OpenAI，但GPT-4再强大也毕竟不是自己的。从Semi Analysis的内部消息了解到，微软也并没有将投资的大部分算力直接给到OpenAI使用；就在不久前，微软完成了对Inflection AI的收购，把Deepmind的前联合创始人穆斯塔法·苏莱曼（Mustafa Suleyman）纳入麾下，准备利用他们专业的预训练团队和数据集，再加上自己的合成数据，从头训练一个和GPT-4相当的大约五千亿参数规模的MOE模型MAI-1。配图1.01：Mega 7与OpenAI的竞争格局图另一方面是数据。因为起步早，OpenAI在收集使用数据方面一直处于领先地位。但现在情况已经发生了改变，公开的用于训练的文本数据几乎耗尽，所以大家都不约而同地采用合成数据。但文本之外的图像和视频，需要更直接地接触消费者，才能拿到新数据。Google与Meta各自的产品线都覆盖了超过三十亿的用户，这是最大的优势。所以，每次有人问OpenAI有没有拿Youtube的数据来训练，他们都避而不谈。。模型的竞赛，就是资本和用户的竞赛。OpenAI打响了第一枪，山姆·奥特曼四处游说，搞募资的同时，还得想方设法扩大ChatGPT的用户规模。现在Meta和Google全力以赴，他们从算力到模型再到用户，配置齐备，关键是资本充足；微软虽然投资最多，但和OpenAI纠结的关系，让自己不得不背地里另起炉灶；Amazon也有同样的问题，没法控制自己投资的AI联盟Anthropic，他们就像是在参加一场独臂搏斗。

为了实现OpenAI的愿景，数十亿美元的风险投资甚至都不是赌注。创造大型语言模型的神奇Big Transformer方法需要大型硬件。GPT系列的每一次迭代都需要呈指数级增长的功率——GPT-2有超过10亿个参数，而GPT-3将使用1 750亿个参数。OpenAI现在就像《大白鲨》中的Quint，在鲨鱼猎人看到大白鲨的体型之后。Altman说：“事实证明，我们并不知道我们需要多大的船。”显然，只有少数几家公司拥有OpenAI所需的资源。“我们很快就锁定了微软，”Altman说。微软首席执行官Satya Nadella和首席技术官Kevin Scott的功劳在于，这家软件巨头能够克服一个令人不舒服的现实：在花费了20多年时间和数十亿美元建立了一个所谓的尖端AI研究部门之后，微软需要一家成立仅几年的小公司注入创新元素。Scott说，不仅仅是微软落伍了，“每个人都落伍了”。他说，OpenAI专注于追求AGI，这让它取得了类似于登月的成就，而那些大公司甚至都没有瞄准这个目标。这也证明，不追求生成式AI是微软需要解决的失误。Scott说：“你显然需要一个前沿模型。”微软最初出资10亿美元，以其服务器上的计算时间作为回报。但随着双方信心的增强，交易规模不断扩大。现在，微软已经向OpenAI投入了130亿美元。Scott说：“在前沿领域的投入是非常昂贵的。”

Google拥抱AI的方式非常学术，他们最早成立了Google Brain尝试大规模神经网络训练，点爆了这个领域的科技树，像GANs这样充满灵感的想法也是来自于Google（Ian Goodfellow同学当时任职于Google Brain）。在2015年前后Google先后推出了TensorFlow还有TPU（Tensor Processing Unit-张量芯片），同年还收购了DeepMind来扩张研究实力。Google AI更倾向于用云端的方式给大众提供AI/ML的算力和全流程工具，然后通过投资和收购的方式把智能融入到自己的产品线。现在几乎所有的科技巨头，都在完善自己的“智能”基础设施，Microsoft在2019年投资了10亿美金给OpenAI成为了他们最大的机构股东；Facebook也成立了AI研究团队，这个仅次于他们Reality Lab的地位，Metaverse里所需的一切和“智能”相关的领域他们都参与，今年底还和AMD达成合作，投入200亿美元并用他们的芯片来搭建新的“智能”数据中心；然后就是Tesla，在造电车之外不务正业搭建了世界上规模最大的超级电脑Dojo，它将被用来训练FSD的神经网络和为未来的Optimus（Tesla人形机器人）的大脑做准备。正如过去二十年见证了“云计算技术栈”的出现一样，在接下来的几年里，我们也期待着一个巨大的基础设施和工具生态系统将围绕着智能架构-Infrastructure 3.0建立起来。Google目前正处于这个领域的前沿，他们试图自己的大部分代码用软件2.0的范式重写，并在新的智能架构里运行，因为一个有可能一统江湖的“模型”的已经出现，虽然还非常早期，但机器智能对世界的理解很快将趋向一致，就像我们的大脑皮质层理解世界那样。