AGI 的英文全称是 Artificial General Intelligence,通常指一种能够在许多领域内以人类水平应对日益复杂的问题的系统。部分人认为大语言模型具有 AGI 潜力,但也有人反对。在公众传播中,AIGC 指用 Stable Diffusion 或 Midjourney 生成图像内容,后来泛指用 AI 生成音乐、图像、视频等内容;LLM 指 NLP 领域的大语言模型,如 ChatGPT;GenAI 是生成式人工智能模型,国内官方政策文件使用这个词相对科学,涵盖了 LLM 和 AIGC。公众传播一般会混用上述名词,但底层是 Transformer 结构。
作者:Garman邬嘉文原文:https://mp.weixin.qq.com/s/b7Cctfgb4w5LCCBrSYIlrg[heading2]Transformer决定边界[content]在CES 2024,李飞飞在争论LLM和AIGC名称不能混用,吴恩达觉得在公众传播没关系。李飞飞觉得难以接受,个人猜测是它模糊了大模型的本质。在公众传播层面:AIGC:指用Stable Diffusion或Midjourney生成图像内容,后来泛指用AI生成音乐、图像、视频等内容。LLM:指NLP领域的大语言模型,如ChatGPT。GenAI:生成式人工智能模型,国内官方政策文件使用这个词相对科学,涵盖了LLM和AIGC。AGI:指通用人工智能,部分人觉得LLM具有AGI潜力,LeCun反对。公众传播一般会混用上述名词,但底层是transformer结构。(stable diffusion原采用LDM+UNet,后来改为DiT)而transformer底层是function loss损失函数Transformer是一个大参数(千亿级别)的回归方程。回归方程的Function loss拟合A to B mapping关系,实现数据集的压缩与还原。Transformer是在一定prompt condition情况下,repeat曾经出现过的数据内容,实现“生成”能力。大语言模型的智能体验在两个数据集压缩后,能解释两个数据集之间地带的“连续”能力。(Ilya)所以大语言模型是一个perfect memory,repeat曾经出现的内容。它与Alpha Go差异:Alpha Go是一个增强学习模型,学习结果会调整模型自身参数Alpha Go有推理能力,但大语言模型这块很弱。Transformer决定LLM是一个生成式模型。
作者:Garman邬嘉文原文:https://mp.weixin.qq.com/s/b7Cctfgb4w5LCCBrSYIlrg[heading2]Transformer决定边界[content]在CES 2024,李飞飞在争论LLM和AIGC名称不能混用,吴恩达觉得在公众传播没关系。李飞飞觉得难以接受,个人猜测是它模糊了大模型的本质。在公众传播层面:AIGC:指用Stable Diffusion或Midjourney生成图像内容,后来泛指用AI生成音乐、图像、视频等内容。LLM:指NLP领域的大语言模型,如ChatGPT。GenAI:生成式人工智能模型,国内官方政策文件使用这个词相对科学,涵盖了LLM和AIGC。AGI:指通用人工智能,部分人觉得LLM具有AGI潜力,LeCun反对。公众传播一般会混用上述名词,但底层是transformer结构。(stable diffusion原采用LDM+UNet,后来改为DiT)而transformer底层是function loss损失函数Transformer是一个大参数(千亿级别)的回归方程。回归方程的Function loss拟合A to B mapping关系,实现数据集的压缩与还原。Transformer是在一定prompt condition情况下,repeat曾经出现过的数据内容,实现“生成”能力。大语言模型的智能体验在两个数据集压缩后,能解释两个数据集之间地带的“连续”能力。(Ilya)所以大语言模型是一个perfect memory,repeat曾经出现的内容。它与Alpha Go差异:Alpha Go是一个增强学习模型,学习结果会调整模型自身参数Alpha Go有推理能力,但大语言模型这块很弱。Transformer决定LLM是一个生成式模型。
原文:https://blog.samaltman.com/three-observations发表日期:2025年2月10日我们的使命是确保人工通用智能(AGI)造福全人类。呈现人工通用智能特征的系统正浮现,因此我们认为深入了解当前时刻很重要。人工通用智能是一个定义较弱的术语,但通常来说,它指一种能够在许多领域内以人类水平应对日益复杂的问题的系统。人类是工具制造者,具有理解和创造的固有动力,这使得我们的世界变得更好。每一代人都建立在前代人的发现之上,创造出更加强大的工具——电力、晶体管、计算机、互联网,以及即将到来的人工智能。人类创新的稳定前进,经历阵阵起起伏伏,使人们的生活几乎在各个方面都获得了前所未有的繁荣和改善。从某种意义上说,人工通用智能只是我们共同建造的这个不断升高的人类进步脚手架上的另一个工具。从另一个角度来看,它标志着一个"这次不一样"的开始;我们眼前的经济增长看起来令人惊叹,我们现在可以设想一个治愈所有疾病、有更多时间与家人共享、并能充分发挥创造潜力的世界。在十年内,也许地球上的每个人都能做到比今天最有影响力的人做得更多。我们继续看到人工智能开发取得快速进展。以下是关于人工智能经济学的三点观察: