genAI的gen是什么意思？所谓“生成式”有啥特别的

在引入AIGC的概念之前，本报告将先解释另一相关的热门词条“GenAI”，全称Generative AI，即生成式AI。GenAI是一种基于深度学习技术(deep learning algorithm)，利用机器学习（machine learning）算法从已有数据中学习并生成新的数据或内容的AI应用。其工作原理是通过大规模的数据集训练深度神经网络模型，学习各种数据的规律和特征，实现对输入数据的分析、理解和生成。GenAI为游戏、娱乐和产品设计等应用提供了新颖且有创意的解决方案，如自动写作、虚拟现实、音乐创作等，甚至协助科学研究开辟了新的可能性。目前典型的GenAI包括OpenAI推出的语言模型ChatGPT、GPT-4、图像模型DALL-E以及百度推出的文心一言、阿里云推出的通义千问等。虽然生成式AI是一种非常强大的技术，能够应用于诸多专业领域；但其在数据处理过程中存在多重潜在合规风险，如未经授权收集信息、提供虚假信息、侵害个人隐私等。AIGC（全称AI-Generated Content）指利用GenAI创建的内容，如图像、视频、音频、文本和三维模型。具体来讲，AIGC工具使用机器学习算法，通常以自然语言处理为基础，分析大型文本数据集，并学习如何生成风格和语气相似的新内容。

1.4本章小结GenAI（即生成式AI）是一种能够从已有数据中学习并生成新的数据或内容的AI应用，利用GenAI创建的内容即AIGC（全称AI-Generated Content）。作为一种强大的技术，生成式AI能够赋能诸多领域，但也存在多重潜在的合规风险。目前，我国对AIGC的监管框架由《网络安全法》《数据安全法》及《个人信息保护法》构成，并与《互联网信息服务算法推荐管理规定》、《互联网信息服务深度合成管理规定》、《生成式人工智能服务管理暂行办法》、《科技伦理审查办法（试行）》等形成了共同监管的形势。AIGC主要分为语言文本生成、图像生成和音视频生成。语言文本生成利用马尔科夫链、RNN、LSTMs和Transformer等模型生成文本，如GPT-4和GeminiUltra。图像生成依赖于GANs、VAEs和Stable Diffusion等技术，应用于数据增强和艺术创作，代表项目有Stable Diffusion和StyleGAN 2。音视频生成利用扩散模型、GANs和Video Diffusion等，广泛应用于娱乐和语音生成，代表项目有Sora和WaveNet。此外，AIGC还可应用于音乐生成、游戏开发和医疗保健等领域，展现出广泛的应用前景。

在CES 2024，李飞飞在争论LLM和AIGC名称不能混用，吴恩达觉得在公众传播没关系。李飞飞觉得难以接受，个人猜测是它模糊了大模型的本质。在公众传播层面：AIGC：指用Stable Diffusion或Midjourney生成图像内容，后来泛指用AI生成音乐、图像、视频等内容。LLM：指NLP领域的大语言模型，如ChatGPT。GenAI：生成式人工智能模型，国内官方政策文件使用这个词相对科学，涵盖了LLM和AIGC。AGI：指通用人工智能，部分人觉得LLM具有AGI潜力，LeCun反对。公众传播一般会混用上述名词，但底层是transformer结构。（stable diffusion原采用LDM+UNet，后来改为DiT）而transformer底层是function loss损失函数Transformer是一个大参数（千亿级别）的回归方程。回归方程的Function loss拟合A to B mapping关系，实现数据集的压缩与还原。Transformer是在一定prompt condition情况下，repeat曾经出现过的数据内容，实现“生成”能力。大语言模型的智能体验在两个数据集压缩后，能解释两个数据集之间地带的“连续”能力。（Ilya）所以大语言模型是一个perfect memory，repeat曾经出现的内容。它与Alpha Go差异：Alpha Go是一个增强学习模型，学习结果会调整模型自身参数Alpha Go有推理能力，但大语言模型这块很弱。Transformer决定LLM是一个生成式模型。