开AI公司需要具备那些条件

为了实现OpenAI的愿景，数十亿美元的风险投资甚至都不是赌注。创造大型语言模型的神奇Big Transformer方法需要大型硬件。GPT系列的每一次迭代都需要呈指数级增长的功率——GPT-2有超过10亿个参数，而GPT-3将使用1 750亿个参数。OpenAI现在就像《大白鲨》中的Quint，在鲨鱼猎人看到大白鲨的体型之后。Altman说：“事实证明，我们并不知道我们需要多大的船。”显然，只有少数几家公司拥有OpenAI所需的资源。“我们很快就锁定了微软，”Altman说。微软首席执行官Satya Nadella和首席技术官Kevin Scott的功劳在于，这家软件巨头能够克服一个令人不舒服的现实：在花费了20多年时间和数十亿美元建立了一个所谓的尖端AI研究部门之后，微软需要一家成立仅几年的小公司注入创新元素。Scott说，不仅仅是微软落伍了，“每个人都落伍了”。他说，OpenAI专注于追求AGI，这让它取得了类似于登月的成就，而那些大公司甚至都没有瞄准这个目标。这也证明，不追求生成式AI是微软需要解决的失误。Scott说：“你显然需要一个前沿模型。”微软最初出资10亿美元，以其服务器上的计算时间作为回报。但随着双方信心的增强，交易规模不断扩大。现在，微软已经向OpenAI投入了130亿美元。Scott说：“在前沿领域的投入是非常昂贵的。”

这种方法需要改变OpenAI的企业文化，也需要专注于它以前所缺乏的。Quora首席执行官Adam D'Angelo是OpenAI的董事会成员，他说：“为了利用Transformer的优势，你需要扩大它的规模。你需要把它办得更像一个工程组织。你不能让每个研究人员都做自己的事，训练自己的模型，做出可以发表论文的优雅的东西。你必须做这些更乏味、不那么优雅的工作”。他补充说，这是OpenAI能够做到的，也是其他人做不到的。Mira Murati（来源：WIRED）Radford和他的合作者给他们创建的模型起的名字是“generatively pretrained transformer”——GPT-1的缩写。最终，这个模型被通称为“生成式AI”。为了建立这个模型，他们收集了7000本未出版的书籍，其中很多都是浪漫、奇幻和冒险类型的书籍，并在Quora问答以及初中和高中考试的数千段文章中对其进行了完善。总之，该模型包含1.17亿个参数或变量。该模型在理解语言和生成答案方面的表现优于之前的所有模型。但最引人注目的结果是，在处理如此大量的数据后，模型能够提供超出其训练的结果，在全新的领域提供专业知识。这些计划外的机器人能力被称为“零样本”。它们仍然令研究人员感到困惑——这也是该领域许多人对这些所谓的大型语言模型感到不安的原因。Radford还记得在OpenAI办公室的一个深夜。“我只是一遍又一遍地说：‘嗯，这很酷，但我很确定它做不了X。’然后我会快速编写一个评估代码，果然，它可以做到X。”

特雷弗·布莱克威尔（Trevor Blackwell），YC原合伙人，2017年离职主题：OpenAI公司发件人：埃隆·马斯克收件人：伊利亚·苏茨克维、帕梅拉·瓦加塔、维琪·张、迪亚德里克·金玛、安德烈·卡帕西、约翰·舒尔曼、特雷弗·布莱克威尔、格雷格·布洛克曼抄送:山姆·阿尔特曼时间：2015年12月11日16:41（周五）祝贺大家迈出了伟大的第一步！我们在人数和资源上远不及一些大家熟知的机构，但我们站在正义这边，这一点非常重要。我觉得我们有很大的机会。我们需要考虑的最重要的事是招募顶尖人才。任何公司的成就，最终都是团队成员共同努力的结果。如果我们能持续吸引到最有才华的人，并且方向和目标一致，那么OpenAI一定能够成功。因此，请大家好好想想，应该让谁加入我们。如果在招聘或其他方面我能提供帮助，请随时告诉我。我建议特别关注那些尚未完成研究生甚至本科学业，但显然非常聪明的人。最好在他们取得突破性成果之前让他们加入。期待与大家合作，埃隆