判别式与生成式

Think：这里可以稍微停下来思考一下生成式模型和判别式模型在底层模式的普遍性和差异性。在这里，个人认为“生成式”的核心之一在于采用了更高效的token化，而language亦或是code作为token化的承载媒介，是人类认知推理、链接物理世界、抽象化表达的最重要且涵盖范围十分广泛的概念化空间。而某种程度上，判别式模型在“判别侧”即模型输出“Y”侧对于生成式模型来说亦属于其子集（其实不光是“Y”，模型输入“X”侧且任务本身亦属于其子集--这里指的是用于模型推理过程的某种信息变换X→Y的整体模式），因此也就为大多数人所认为的LLM会取代或替代传统模型提供了理论的可能，即人们常说的：Token is all you need！

我们可以将GAN中的生成器比喻为印假钞票的犯罪分子，判别器则被当作警察。犯罪分子努力让印出的假钞看起来逼真，警察则不断提升对于假钞的辨识能力。二者互相博弈，随着时间的进行，都会越来越强。在图像生成任务中也是如此，生成器不断生成尽可能逼真的假图像。判别器则判断图像是gt gt图像，还是生成的图像。二者不断博弈优化，最终生成器生成的图像使得判别器完全无法判别真假。关于Flow-based models，其在AIGC时代的作用还未显现，可以持续关注。最后，VAE将在本文后面的章节详细讲解，因为正是VAE将输入数据压缩至Latent隐空间中，故其成为了SD模型的核心结构之一。

当我写下这个标题之后，还没开始上课，小西就帮我写了一份学习笔记，有点无聊哈哈，但是方便一览全局一、课程介绍这是台湾大学李宏毅教授的生成式AI课程，主要介绍了生成式AI的基本概念、发展历程、技术架构和应用场景等内容。课程共分为12讲，每讲约2小时。二、学习目标通过学习本课程，掌握生成式AI的基本概念和常见技术，能够使用相关框架搭建简单的生成式模型，了解生成式AI的发展现状和未来趋势。三、学习内容什么是生成式AI生成式AI的定义和分类生成式AI与判别式AI的区别生成式AI的应用领域生成式模型生成式模型的基本结构和训练方法生成式模型的评估指标常见的生成式模型及其优缺点生成式对话生成式对话的基本概念和应用场景生成式对话系统的架构和关键技术基于生成式模型的对话生成方法预训练语言模型预训练语言模型的发展历程和关键技术预训练语言模型的优缺点预训练语言模型在生成式AI中的应用生成式AI的挑战与展望生成式AI面临的挑战和解决方法生成式AI的未来发展趋势和研究方向四、学习资源教材：《生成式AI导论2024》，李宏毅