学习生成式 AI 通常需要以下基础:
在生成文本方面,大语言模型使用监督学习不断预测下一个词语,这需要千亿甚至万亿级别的单词数据库。同时,为了有效地使用生成式人工智能,在流程的开始和结束时需要人工参与,人类要向生成模型输入提示才能让其创建内容,创造性的提示通常会产生创造性的输出。
例如,台湾大学李宏毅教授的生成式 AI 课程介绍了其基本概念、发展历程、技术架构和应用场景等内容,包括生成式 AI 的定义和分类、与判别式 AI 的区别、应用领域、生成式模型的结构和训练方法、评估指标、生成式对话的概念和系统架构等。通过学习此类课程,可以掌握生成式 AI 的基本概念和常见技术,能够使用相关框架搭建简单的生成式模型,了解其发展现状和未来趋势。
在整体的人工智能领域中,监督学习用于标记事物,一直占据很大比例。现在生成式AI在近期快速崛起,但强化学习与无监督学习也是AI领域重要的一种工具。生成式AI由监督学习技术搭建。2010-2020年是大规模监督学习的十年,这为现代人工智能奠定了基础。生成文本会使用到大语言模型,生成的过程是,大语言模式使用监督学习不断预测下一个词语,比如,i like,它会不断预测like后的词语是什么,经过大量的数据,它可能后面带的是,beaty,或者,eating,而eating后又大概率预测会有food。这样不断地生成新的文本内容。(这需要千亿,甚至万亿级别的单词数据库)
为了有效地使用生成式人工智能,您仍然需要在流程的开始和结束时进行人工参与。首先,人类必须向生成模型输入提示才能让它创建内容。一般来说,创造性的提示会产生创造性的输出。“即时工程师”很可能成为一个既定的职业,至少在下一代更智能的人工智能出现之前是这样。该领域已经催生了一本[82页](https://dallery.gallery/the-dalle-2-prompt-book/)的DALL-E 2图像提示书,以及一个[提示市场](https://promptbase.com/),只需支付少量费用即可购买其他用户的提示。这些系统的大多数用户在达到预期结果之前需要尝试几种不同的提示。
当我写下这个标题之后,还没开始上课,小西就帮我写了一份学习笔记,有点无聊哈哈,但是方便一览全局一、课程介绍这是台湾大学李宏毅教授的生成式AI课程,主要介绍了生成式AI的基本概念、发展历程、技术架构和应用场景等内容。课程共分为12讲,每讲约2小时。二、学习目标通过学习本课程,掌握生成式AI的基本概念和常见技术,能够使用相关框架搭建简单的生成式模型,了解生成式AI的发展现状和未来趋势。三、学习内容什么是生成式AI生成式AI的定义和分类生成式AI与判别式AI的区别生成式AI的应用领域生成式模型生成式模型的基本结构和训练方法生成式模型的评估指标常见的生成式模型及其优缺点生成式对话生成式对话的基本概念和应用场景生成式对话系统的架构和关键技术基于生成式模型的对话生成方法预训练语言模型预训练语言模型的发展历程和关键技术预训练语言模型的优缺点预训练语言模型在生成式AI中的应用生成式AI的挑战与展望生成式AI面临的挑战和解决方法生成式AI的未来发展趋势和研究方向四、学习资源教材:《生成式AI导论2024》,李宏毅