以下是关于学习 AI&LLM 的相关知识:
一、AI 相关概念与技术
概念
机器学习
深度学习
生成式 AI
LLM(大语言模型)
二、技术里程碑
2017 年 6 月,谷歌团队发表论文《Attention is All You Need》,首次提出了 Transformer 模型,它完全基于自注意力机制(Self-Attention)来处理序列数据,而不需要依赖于循环神经网络(RNN)或卷积神经网络(CNN)。
三、RL 与 LLM 融合的本质与阐释
AI 本质是一堆 scaling law。今天能看到最好的模型规模在 10 的 25 到 26 次方 FLOPs 这种规模,且数量级还会持续增长,算力是必要条件。一个值得被 scale up 的架构是基础,要支持不断加入更多数据。现在“吃”的是 base model 的 scaling law,未来可能会“吃”用户数据源的 scaling law。alignment 也有 scaling law,只要能找到对的数据就能解决。当 next token prediction 足够好时,能够平衡创造性和事实性。多模态数据的引入可推迟数据瓶颈问题,如视频和多模态的卡点解决不了,文本的数据瓶颈就会很关键。在限定问题(如数学或写代码)上,数据相对好生成,通用问题还没有完全的解法,但有探索方向。统计模型没有问题。
一、视频一主要回答了什么是AI大模型,原理是什么。1、概念:生成式AI生成的内容,叫做AIGC2、概念与关系:相关技术名词1)AI——人工智能2)机器学习——电脑找规律学习,包括监督学习、无监督学习、强化学习。3)监督学习——有标签的训练数据,算法的目标是学习输入和输出之间的映射关系。包括分类和回归。4)无监督学习——学习的数据没有标签,算法自主发现规律。经典任务包括聚类,比如拿一堆新闻文章,让模型根据主题或内容特征分成具有相似特征的组。5)强化学习——从反馈里学习,最大化奖励或最小化损失;类似训小狗。6)深度学习——一种方法,参照人脑有神经网络和神经元(因为有很多层所以叫深度)。神经网络可以用于监督学习、无监督学习、强化学习。7)生成式AI——可以生成文本、图片、音频、视频等内容形式8)LLM——大语言模型。对于生成式AI,其中生成图像的扩散模型就不是大语言模型;对于大语言模型,生成只是其中一个处理任务,比如谷歌的BERT模型,可用于语义理解(不擅长文本生成),如上下文理解、情感分析、文本分类;3、技术里程碑——2017年6月,谷歌团队发表论文《Attention is All You Need》。这篇论文首次提出了Transformer模型,它完全基于自注意力机制(Self-Attention)来处理序列数据,而不需要依赖于循环神经网络(RNN)或卷积神经网络(CNN)。
一、视频一主要回答了什么是AI大模型,原理是什么。1、概念:生成式AI生成的内容,叫做AIGC2、概念与关系:相关技术名词1)AI——人工智能2)机器学习——电脑找规律学习,包括监督学习、无监督学习、强化学习。3)监督学习——有标签的训练数据,算法的目标是学习输入和输出之间的映射关系。包括分类和回归。4)无监督学习——学习的数据没有标签,算法自主发现规律。经典任务包括聚类,比如拿一堆新闻文章,让模型根据主题或内容特征分成具有相似特征的组。5)强化学习——从反馈里学习,最大化奖励或最小化损失;类似训小狗。6)深度学习——一种方法,参照人脑有神经网络和神经元(因为有很多层所以叫深度)。神经网络可以用于监督学习、无监督学习、强化学习。7)生成式AI——可以生成文本、图片、音频、视频等内容形式8)LLM——大语言模型。对于生成式AI,其中生成图像的扩散模型就不是大语言模型;对于大语言模型,生成只是其中一个处理任务,比如谷歌的BERT模型,可用于语义理解(不擅长文本生成),如上下文理解、情感分析、文本分类;3、技术里程碑——2017年6月,谷歌团队发表论文《Attention is All You Need》。这篇论文首次提出了Transformer模型,它完全基于自注意力机制(Self-Attention)来处理序列数据,而不需要依赖于循环神经网络(RNN)或卷积神经网络(CNN)。
“AI本质就是一堆scaling law..今天能看到最好的模型是10的25到26次方FLOPs这种规模。这个数量级接下来肯定还会持续增长,所以我认为算力是个必要条件,因为机器学习或者AI研究了七八十年,唯一work的东西其实是scaling Law,就是放大这几种生产要素。你需要一个同时满足scalability和generality这两点的架构,但今天其实很多架构已经不满足这两条了。transformer在已知的token space符合这两条,但放大到一个更通用的场景,也不太符合。数据也是一个生产要素,包括整个世界的数字化,和来自用户的数据。现在“吃”的是base model的scaling law,未来可能会去“吃”用户这个数据源的scaling law。因为其实alignment也有scaling law,它肯定是可以被解决的,只要你能找到对的数据。AI本质就是一堆scaling law。一个值得被scale up的架构是基础,这个架构首先得支持不断加入更多数据,然后数据才会真的成为瓶颈。我们现在说的数据瓶颈,从文本模态上,2024年就会遇到,但多模态数据的引入进来会把这个问题推迟1-2年。如果视频和多模态的卡点解决不了,那文本的数据瓶颈就会很关键。这点上其实我们也有些进展——如果限定了问题,比如数学或者写代码,数据是相对好生成的。通用的问题现在还没有完全的解法,但是存在一些方向可以去探索。统计模型没有什么问题。当next token prediction足够好的时候,它能够平衡创造性和事实性。