AI领域最前沿技术的最核心的论文

作者：[Derrick Harris](https://a16z.com/author/derrick-harris/)，[Matt Bornstein](https://a16z.com/author/matt-bornstein/)和[Guido Appenzeller](https://a16z.com/author/guido-appenzeller/)原文地址：https://a16z.com/2023/05/25/ai-canon/译者：通往AGI之路后半部分：[目录：a16z推荐进阶经典](https://ywh1bkansf.feishu.cn/wiki/EXX1w3QyFiBz8fknLFYce7gvnug)人工智能的研究正在以指数级别的速度增长。对于AI专家来说，跟上所有新发布的内容已经非常困难，对于初学者来说更是难上加难。因此，在这篇文章中，我们分享了一份我们信赖的、用于更深入了解现代AI的精选资源列表。我们称之为“AI典藏”，因为这些论文、博客文章、课程和指南在过去几年中对该领域产生了巨大影响。我们首先对Transformer和Latent Diffusion（潜在扩散）模型进行了简单的介绍，这些模型正在推动当前的AI浪潮。接下来，我们深入研究了技术学习资源；构建大型语言模型（LLMs）的实用指南；以及AI市场的分析。最后，我们列出了一份里程碑式研究成果的参考列表，从2017年谷歌发布的“Attention is All You Need”开始——这篇论文向世界介绍了Transformer模型，并开启了生成AI的时代。

他最有影响力的论文包括：描述极化子的“The Contribution of Excitons to the Complex Dielectric Constant of Crystals”（1958年）；描述长程电子转移量子力学的“Electron transfer between biological molecules by thermally activated tunneling”（1974年）；"Kinetic Proofreading：1974年）；“神经网络和具有突发性集体计算能力的物理系统”（1982年）（被称为Hopfield网络），以及与D。W.Tank合著的“优化问题中决策的神经计算”（1985年）。他目前的研究和近期发表的论文主要集中在如何将动作电位定时和同步用于神经生物学计算。杰弗里·辛顿（Geoffrey E。Hinton)杰弗里·埃弗里斯特·辛顿，英国出生的加拿大计算机学家和心理学家，多伦多大学教授。以其在类神经网络方面的贡献闻名。辛顿是反向传播算法和对比散度算法（Contrastive Divergence）的发明人之一，也是深度学习的积极推动者，被誉为“深度学习教父”。辛顿因在深度学习方面的贡献与约书亚·本希奥和杨立昆一同被授予了2018年的图灵奖。1985年，在奥地利阿尔卑斯山奥伯莱赫（Oberlech）的一个研讨会他曾花了小半个世纪的时间开发神经网络，让机器拥有了深度学习的能力，如今，他的愿望实现了：人工智能之浪潮汹涌澎湃滚滚而来。然而，这位AI大神却退缩了，他对他教会它学习的机器产生了怀疑，甚至愤怒。他担心他毕生的工作可能导致人类的终结，他认为他的最终使命是警告世界！他，就是如今被誉为“AI教父”的杰佛里·埃佛勒斯·辛顿（Geoffrey Everest Hinton，1947－）[1]。家族传奇

回顾2015年，AI技术与今天相比还相对简单。那时的AI系统都是非常狭窄和专门化的，能下围棋的系统甚至不能下国际象棋，更不用说理解语言或引导行人过马路了。每次你需要开发一个新的应用，都必须训练一个全新的模型，这需要大量时间和标记数据。而整个过程像是在黑暗中摸索前进：一个新模型被训练出来后，怎么看怎么都像在重复造旧轮子。鲜少有人知道如何造出别出心裁的轮子，更不要谈革命性突破了。然而，2017年，一篇名为《Attention is All You Need》的论文如同一道闪电，照亮了AI的未来道路。这篇由Google Brain团队撰写的论文介绍了Transformer架构，彻底改变了AI领域的格局。它能够处理未标记的、混乱的数据，并且比以前的方法更加高效。这是一个"令人惊讶和痛苦的认识"：最好的AI不是来自最专业的训练技术，而是来自拥有最多数据的人。面对诞生的新架构，OpenAI的技术领袖——伊利亚迅速认识到了Transformer的潜力。伊利亚坚信，AI的下一个重大进展将不再仅仅依赖于算法的微调，而是来自于更大规模、更多样化的数据。这个洞察力为OpenAI后来的发展指明了方向。在他的推动下，OpenAI迅速开始了基于Transformer架构的实验，特别是在自然语言处理领域。他们开发了GPT（Generative Pre-trained Transformer）系列模型，这个系列后来成为了OpenAI最著名的成果之一。研究团队收集了海量的文本数据，涵盖了从科学论文到社交媒体帖子的各种内容。格雷格则形象地将这个过程比喻为"给AI喂食整个互联网"。