大语言模型、AI、AIGC 和 AGI 是人工智能领域中常用的几个概念,它们之间的关系如下:
总的来说,AI 是一个广泛的概念,包括 AIGC 和 LLM 等子集。AIGC 是 AI 的一个子集,专注于生成式任务,而 LLM 是 AI 的一个子集,专注于 NLP 任务。AGI 是 AI 的一个理想目标,目前还没有实现。
在CES 2024,李飞飞在争论LLM和AIGC名称不能混用,吴恩达觉得在公众传播没关系。李飞飞觉得难以接受,个人猜测是它模糊了大模型的本质。在公众传播层面:AIGC:指用Stable Diffusion或Midjourney生成图像内容,后来泛指用AI生成音乐、图像、视频等内容。LLM:指NLP领域的大语言模型,如ChatGPT。GenAI:生成式人工智能模型,国内官方政策文件使用这个词相对科学,涵盖了LLM和AIGC。AGI:指通用人工智能,部分人觉得LLM具有AGI潜力,LeCun反对。公众传播一般会混用上述名词,但底层是transformer结构。(stable diffusion原采用LDM+UNet,后来改为DiT)而transformer底层是function loss损失函数Transformer是一个大参数(千亿级别)的回归方程。回归方程的Function loss拟合A to B mapping关系,实现数据集的压缩与还原。Transformer是在一定prompt condition情况下,repeat曾经出现过的数据内容,实现“生成”能力。大语言模型的智能体验在两个数据集压缩后,能解释两个数据集之间地带的“连续”能力。(Ilya)所以大语言模型是一个perfect memory,repeat曾经出现的内容。它与Alpha Go差异:Alpha Go是一个增强学习模型,学习结果会调整模型自身参数Alpha Go有推理能力,但大语言模型这块很弱。Transformer决定LLM是一个生成式模型。
在CES 2024,李飞飞在争论LLM和AIGC名称不能混用,吴恩达觉得在公众传播没关系。李飞飞觉得难以接受,个人猜测是它模糊了大模型的本质。在公众传播层面:AIGC:指用Stable Diffusion或Midjourney生成图像内容,后来泛指用AI生成音乐、图像、视频等内容。LLM:指NLP领域的大语言模型,如ChatGPT。GenAI:生成式人工智能模型,国内官方政策文件使用这个词相对科学,涵盖了LLM和AIGC。AGI:指通用人工智能,部分人觉得LLM具有AGI潜力,LeCun反对。公众传播一般会混用上述名词,但底层是transformer结构。(stable diffusion原采用LDM+UNet,后来改为DiT)而transformer底层是function loss损失函数Transformer是一个大参数(千亿级别)的回归方程。回归方程的Function loss拟合A to B mapping关系,实现数据集的压缩与还原。Transformer是在一定prompt condition情况下,repeat曾经出现过的数据内容,实现“生成”能力。大语言模型的智能体验在两个数据集压缩后,能解释两个数据集之间地带的“连续”能力。(Ilya)所以大语言模型是一个perfect memory,repeat曾经出现的内容。它与Alpha Go差异:Alpha Go是一个增强学习模型,学习结果会调整模型自身参数Alpha Go有推理能力,但大语言模型这块很弱。Transformer决定LLM是一个生成式模型。
chatGPT:是由致力于AGI的公司OpenAI研发的一款AI技术驱动的NLP聊天工具,于2022年11月30日发布,目前使用的是GPT-4的LLM。额!~ chatGPT我听过,也知道是啥,但你这个解释我直接给我干懵了,套娃呢,解释藏我不认识的单词是不!~ AI:人工智能(Artificial Intelligence)AGI:通用人工智能(Artificial General Intelligence)能够像人类一样思考、学习和执行多种任务的人工智能系统NLP:自然语言处理(Natural Language Processing),就是说人话LLM:大型语言模型(Large Language Model),数据规模很大,没钱你搞不出来的,大烧钱模型。这段解释chatGPT的释义,一句话就把关于AIGC的几个常见名词都涵盖了,不愧是去年火到我卖地瓜的二姨都知道的“鸡屁屉”。一个字!绝!