AGI 即通用人工智能,指的是一种能够完成任何聪明人类所能完成的智力任务的人工智能。
与平常理解的 AI 相比,平常的 AI 往往是针对特定领域或任务进行设计和优化的,例如下围棋、图像识别等。而 AGI 涵盖了更广泛的认知技能和能力,不仅限于特定领域,包括推理、规划、解决问题、抽象思维、理解复杂思想、快速学习和从经验中学习等,并且要求这些能力达到或超过人类水平。
在 AI 发展历程中,早期的研究有对智能的宏伟目标追求,但很多研究进展是狭义地关注明确定义的任务。直到 2000 年代初,“通用人工智能”(AGI)这一名词流行起来,强调从“狭义 AI”向更广泛的智能概念转变,回应了早期 AI 研究的长期抱负和梦想。
例如,GPT-3 及其后续版本在某种程度上是朝着 AGI 迈出的巨大一步,早期的语言模型则没有像 GPT-3 这样连贯回应的能力。
Introduction智能是一个多方面而难以捉摸的概念,长期以来一直挑战着心理学家、哲学家和计算机科学家。1994年,一组52名心理学家签署了一份有关智能科学的广泛定义的社论,试图捕捉其本质。共识小组将智能定义为一种非常普遍的心理能力,其中包括推理、规划、解决问题、抽象思维、理解复杂思想、快速学习和从经验中学习等能力。这个定义意味着智能不仅限于特定领域或任务,而是涵盖了广泛的认知技能和能力——建立一个能够展示1994年共识定义所捕捉到的通用智能的人工系统是人工智能研究的一个长期而宏伟的目标。在早期的著作中,现代人工智能(AI)研究的创始人提出了理解智能的一系列宏伟目标。几十年来,AI研究人员一直在追求智能的原则,包括推理的普适机制(例如[NSS59],[LBFL93])以及构建包含大量常识知识的知识库[Len95]。然而,最近的许多AI研究进展可以描述为「狭义地关注明确定义的任务和挑战」,例如下围棋,这些任务分别于1996年和2016年被AI系统掌握。在1990年代末至2000年代,越来越多的人呼吁开发更普适的AI系统(例如[SBD+96]),并且该领域的学者试图确定可能构成更普遍智能系统的原则(例如[Leg08,GHT15])。名词「通用人工智能」(AGI)在2000年代初流行起来(见[Goe14]),以强调从「狭义AI」到更广泛的智能概念的追求,回应了早期AI研究的长期抱负和梦想。我们使用AGI来指代符合上述1994年定义所捕捉到的智能广泛能力的系统,其中包括了一个附加的要求,即这些能力在或超过人类水平。然而,我们注意到并没有一个被广泛接受的AGI定义,我们在结论部分讨论其他定义。
作者:Garman邬嘉文原文:https://mp.weixin.qq.com/s/b7Cctfgb4w5LCCBrSYIlrg[heading2]Transformer决定边界[content]在CES 2024,李飞飞在争论LLM和AIGC名称不能混用,吴恩达觉得在公众传播没关系。李飞飞觉得难以接受,个人猜测是它模糊了大模型的本质。在公众传播层面:AIGC:指用Stable Diffusion或Midjourney生成图像内容,后来泛指用AI生成音乐、图像、视频等内容。LLM:指NLP领域的大语言模型,如ChatGPT。GenAI:生成式人工智能模型,国内官方政策文件使用这个词相对科学,涵盖了LLM和AIGC。AGI:指通用人工智能,部分人觉得LLM具有AGI潜力,LeCun反对。公众传播一般会混用上述名词,但底层是transformer结构。(stable diffusion原采用LDM+UNet,后来改为DiT)而transformer底层是function loss损失函数Transformer是一个大参数(千亿级别)的回归方程。回归方程的Function loss拟合A to B mapping关系,实现数据集的压缩与还原。Transformer是在一定prompt condition情况下,repeat曾经出现过的数据内容,实现“生成”能力。大语言模型的智能体验在两个数据集压缩后,能解释两个数据集之间地带的“连续”能力。(Ilya)所以大语言模型是一个perfect memory,repeat曾经出现的内容。它与Alpha Go差异:Alpha Go是一个增强学习模型,学习结果会调整模型自身参数Alpha Go有推理能力,但大语言模型这块很弱。Transformer决定LLM是一个生成式模型。
Q*的下一阶段,最初被称为GPT-6,但后来重新命名为GPT-7(原计划在2026年发布),由于埃隆·马斯克最近的诉讼而被暂停。计划在2027年发布的Q*2025(GPT-8)将实现完全的AGI......Q*2023=48智商Q*2024=96智商(推迟)Q*2025=145智商(推迟)埃隆·马斯克因为他的诉讼导致了推迟。这就是我现在揭示这些信息的原因,因为不会再造成进一步的伤害。我已经看过很多关于人工通用智能(AGI)的定义,但我将简单地将AGI定义为一种能够完成任何聪明人类所能完成的智力任务的人工智能。这是现在大多数人对这个词的定义。2020年是我第一次对一个AI系统感到震惊——那就是GPT-3。GPT-3.5是GPT-3的升级版本,也是ChatGPT背后的模型。当ChatGPT发布时,我感觉更广泛的世界终于赶上了我两年前就开始互动的东西。我在2020年广泛使用GPT-3,并对它的推理能力感到震惊。GPT-3及其半步后继者GPT-3.5(在2023年3月升级为GPT-4之前,它驱动了现在著名的ChatGPT)在某种程度上是朝着AGI迈出的巨大一步,而早期的模型则不是这样。需要注意的是,像GPT-2这样的早期语言模型(基本上自Eliza以来的所有聊天机器人)实际上没有真正连贯回应的能力。那么为什么GPT-3会有如此巨大的飞跃呢?