吴恩达

吴恩达（Andrew Ng）是一位在人工智能领域享有盛誉的科学家和教育者。他在机器学习、统计学和人工智能领域做出了重要贡献，并且是在线教育平台Coursera的联合创始人。吴恩达曾在斯坦福大学担任副教授，并领导了谷歌的大脑项目（Google Brain）。此外，他还曾担任百度公司首席科学家，并领导百度研究院。吴恩达以其在深度学习和大规模机器学习系统方面的研究而闻名，他在这些领域的工作推动了人工智能技术的商业应用和普及。他还是多个人工智能和机器学习开源项目的倡导者，包括TensorFlow和Caffe。除了在学术界和工业界的贡献，吴恩达还致力于普及人工智能教育。他教授的机器学习课程是斯坦福大学和Coursera上最受欢迎的在线课程之一，吸引了全球数百万学生的参与。通过他的教学和研究工作，吴恩达对人工智能领域的发展产生了深远的影响。内容由AI大模型生成，请仔细甄别。

红杉资本召集了人工智能领域的领导者，进行了一天的对话、演讲和演示。会议地址：https://sequoiacap.com/article/ai-ascent-2024/3月20日，红杉在旧金山举办了第二届AI Ascent活动，汇聚了100名人工智能领域的领先创始人和研究人员，讨论合作伙伴帕特·格雷迪（Pat Grady）所说的“人类有史以来最伟大的价值创造机会”。合伙人索尼娅·黄（Sonya Huang）为生成式人工智能（Generative AI）彻底改变行业并提供惊人的生产力提升的承诺如何开始成为人们关注的焦点奠定了基础。合伙人康斯坦丁·布勒（Konstantine Buhler）展望了人工智能将如何融入未来的公司。在这一天中，红杉与人工智能领导者进行了交谈，包括OpenAI的Sam Altman、Figma的Dylan Field、Mistral的Alfred Mensch、Anthropic的Daniela Amodei、AI Fund的吴恩达（Andrew Ng）、ServiceNow的CJ Desai和独立研究员Andrej Karpathy。会谈内容涵盖大型和小型模型的优点、推理Agents的兴起、计算的未来以及不断发展的人工智能生态系统。下面是会议的几个公开视频：转自有新（欢迎订阅有新Newin）：

在这个案例中利用GPU而不是CPU到底能变得有多快很难说清楚，但是同年《Large-scale Deep Unsupervised Learning using Graphics Processors》这篇论文给出了一个数字：70倍。是的，70倍，这使得数以周记的工作可以被压缩到几天就完成，甚至是一天。之前研发了分散式代码的作者中包括高产的机器学习研究者吴恩达，他逐渐意识到利用大量训练数据与快速计算的能力在之前被赞同学习算法演变愈烈的研究员们低估了。这个想法在2010年的《Deep Big Simple Neural Nets Excel on Handwritten Digit Recognition》（作者之一J.Schimidhuber正是递归LTSM网络（recurrent LTSM networks）的投资者）中也得到了大力支持，展示了MNIST数据库能够达到令人惊叹的0.35%错误率，并且除去大型神经网络、输入的多个变量、以及有效的反向传播GPU实现以外没有任何特殊的地方。这些想法已经存在了数十年，因此尽管可以说算法的改进并不那么重要，但是结果确实强烈表明大型训练数据集与快速腭化计算的蛮力方法是一个关键。Dahl与Mohamed利用GPU打破记录是一个早期且相对有限的成功，但是它足以激励人们，并且对这两人来说也为他们带来了在微软研究室实习的机会。在这里，他们可以享受到那时已经出现的计算领域内另一个趋势所带来的益处：大数据。这个词语定义宽松，在机器学习的环境下则很容易理解——大量训练数据。大量的训练数据非常重要，因为没有它神经网络仍然不能做到很好——它们有些过拟合了（完美适用于训练数据，但无法推广到新的测试数据）。这说得通——大型神经网络能够计算的复杂度需要许多数据来使它们避免学习训练集中那些不重要的方面——这也是过去研究者面对的主要难题。因此现在，大型公司的计算与数据集合能力证明了其不可替代性。这两个学生在三个月的实习期中轻易地证明了深度学习的能力，微软研究室也自此成为了深度学习语音识别研究的前沿地带。