判别式CNN到生成式大模型的发展

生成式模型和判别式模型在底层模式上存在普遍性和差异性。 生成式模型方面： 核心之一在于采用更高效的 token 化，language 或 code 作为 token 化的承载媒介，是人类认知推理、链接物理世界、抽象化表达的重要且广泛的概念化空间。 例如在 GAN 中，生成器不断生成逼真的假图像，与判别器互相博弈优化。 常见的生成式模型包括 GAN、Flowbased models（其在 AIGC 时代的作用未充分显现）、VAE（是 Stable Diffusion 模型的核心结构之一）等。 判别式模型方面： 在“判别侧”即模型输出“Y”侧对于生成式模型来说属于其子集，某种程度上不仅是“Y”，模型输入“X”侧及任务本身也属于生成式模型的子集。 通过学习台湾大学李宏毅教授的《生成式 AI 导论 2024》课程，可以更全面地了解生成式 AI 的基本概念、发展历程、技术架构、应用场景等内容，包括生成式模型的基本结构、训练方法、评估指标，生成式对话的概念、系统架构和关键技术，预训练语言模型的发展、优缺点及在生成式 AI 中的应用，以及生成式 AI 面临的挑战和未来发展趋势。

以下是一些与生成式人工智能相关的 URL： 生成式人工智能简介的视频学习地址： https://youtu.be/G2fqAlgmoPo 中文版本推荐： 生成式人工智能如何改变创意工作相关的框架：NVIDIA 的 2024 年人工智能现状报告链接： 英文解读链接：

目前市面上有许多好用的生成式人工智能，以下为您列举部分： 在文本和图像生成方面，有 OpenAI 的 GPT3（用于文本）、DALLE2（用于图像）、Whisper（用于语音），以及 Midjourney（在艺术竞赛中表现出色）等。 在创建可信角色方面，有 Charisma.ai、Convai.com、Inworld.ai 等，它们旨在为具有情感和自主权的 3D 角色提供动力，并提供工具以便创作者给角色设定目标。 一体化平台方面，Runwayml.com 较为成功，它在一个单一的软件包中汇集了一系列广泛的创作者工具。 在企业应用方面，Menlo Ventures 投资组合公司中的 Sana（企业搜索）、Eve（法律研究副驾驶）和 Typeface（内容生成 AI）等都是早期突破性的代表。 此外，还有 Google 的 BERT 和 LaMDA、Facebook 的 OPT175B 和 BlenderBot 等。同时，有数百公司正在构建通用聊天机器人，如 Replika 和 Anima 等。但需要注意的是，这些模型的训练通常需要大量数据和计算能力，大多数公司难以从头开始训练自己的此类模型。

生成式人工智能是一种能够创建新内容的人工智能技术。以下是关于生成式人工智能的一些详细信息： 课程方面： 台湾大学李宏毅教授的生成式 AI 课程，主要介绍了其基本概念、发展历程、技术架构和应用场景等内容。课程共 12 讲，每讲约 2 小时。通过学习该课程，可掌握基本概念和常见技术，能使用相关框架搭建简单模型，了解发展现状和未来趋势。学习内容包括： 1. 什么是生成式 AI：定义和分类，与判别式 AI 的区别，应用领域。 2. 生成式模型：基本结构和训练方法，评估指标，常见模型及其优缺点。 3. 生成式对话：基本概念和应用场景，系统架构和关键技术，基于模型的对话生成方法。 4. 预训练语言模型：发展历程和关键技术，优缺点，在生成式 AI 中的应用。 5. 生成式 AI 的挑战与展望：面临的挑战和解决方法，未来发展趋势和研究方向。 改变创意工作方面： 生成式人工智能在创意工作中发挥着重要作用。例如，生成模型经过训练后，可针对特定内容领域进行“微调”，催生了用于生物医学、法律、法语等的专用模型，以及适用于不同目的的 GPT3 等。NVIDIA 的 BioNeMo 是用于在超级计算规模上训练、构建和部署大型语言模型的框架，适用于生成化学、蛋白质组学和 DNA/RNA 等内容。但使用生成式人工智能仍需人工参与，人类要输入提示让其创建内容，创造性的提示会产生创造性的输出，“即时工程师”可能成为新职业。该领域已出现 DALLE 2 图像提示书和提示市场。 学习资源： 1. 教材：《生成式 AI 导论 2024》，李宏毅。 2. 参考书籍：《深度学习》，伊恩·古德费洛等。 3. 在线课程：李宏毅的生成式 AI 课程。 4. 开源项目：OpenAI GPT3、字节跳动的云雀等。 学习方法：根据课程内容和资源，制定适合自己的学习计划，多实践、多思考。 目前市面上有部分免费的生成式人工智能资源，但也有收费的。需要注意的是，未经许可翻外网可能存在法律风险，请您谨慎选择。

以下是关于掌握生成式 AI 的一些建议： 课程学习： 可以学习台湾大学李宏毅教授的生成式 AI 课程，该课程主要介绍了生成式 AI 的基本概念、发展历程、技术架构和应用场景等内容，共分为 12 讲，每讲约 2 小时。 通过学习本课程，能够掌握生成式 AI 的基本概念和常见技术，能够使用相关框架搭建简单的生成式模型，了解生成式 AI 的发展现状和未来趋势。 学习内容： 了解什么是生成式 AI，包括其定义、分类，以及与判别式 AI 的区别和应用领域。 学习生成式模型的基本结构、训练方法、评估指标，以及常见模型的优缺点。 掌握生成式对话的基本概念、应用场景、系统架构和关键技术，以及基于生成式模型的对话生成方法。 熟悉预训练语言模型的发展历程、关键技术、优缺点及其在生成式 AI 中的应用。 知晓生成式 AI 面临的挑战和解决方法，以及未来发展趋势和研究方向。 学习资源： 教材：《生成式 AI 导论 2024》，李宏毅。 参考书籍：《深度学习》，伊恩·古德费洛等。 在线课程：李宏毅的生成式 AI 课程。 开源项目：OpenAI GPT3、字节跳动的云雀等。 学习方法： 了解 AI 基本概念：首先，建议阅读「」部分，熟悉 AI 的术语和基础概念。了解什么是人工智能，它的主要分支（如机器学习、深度学习、自然语言处理等）以及它们之间的联系。浏览入门文章，这些文章通常会介绍 AI 的历史、当前的应用和未来的发展趋势。 开始 AI 学习之旅：在「」中，你将找到一系列为初学者设计的课程。这些课程将引导你了解生成式 AI 等基础知识，特别推荐李宏毅老师的课程。通过在线教育平台（如 Coursera、edX、Udacity）上的课程，你可以按照自己的节奏学习，并有机会获得证书。 选择感兴趣的模块深入学习：AI 领域广泛（比如图像、音乐、视频等），可以根据自己的兴趣选择特定的模块进行深入学习。建议一定要掌握提示词的技巧，它上手容易且很有用。 实践和尝试：理论学习之后，实践是巩固知识的关键，尝试使用各种产品做出作品。在知识库提供了很多大家实践后的作品、文章分享。 体验 AI 产品：与现有的 AI 产品进行互动是学习 AI 的另一种有效方式。尝试使用如 ChatGPT、Kimi Chat、智谱、文心一言等 AI 聊天机器人，了解它们的工作原理和交互方式。通过与这些 AI 产品的对话，可以获得对 AI 在实际应用中表现的第一手体验，并激发对 AI 潜力的认识。

生成式 AI 是一种能够生成新内容的人工智能技术，其生成的内容可以是多模态的，包括文本（如文章、报告、诗歌等）、图像（如绘画、设计图、合成照片等）、音频（如音乐、语音、环境声音等）、视频（如电影剪辑、教程、仿真等）。 生成式 AI 和 AIGC 的关系：Generative AI 是“生成式人工智能”的正式称呼，AIGC 指的是由人工智能生成的内容的创作方式，实际上是 Generative AI 的应用结果。 ChatGPT 方面，从 OpenAI 的官网可知，2022 年宣发时称其为一种模型，官网帮助页面称其为一种服务，目前我们所熟知的 ChatGPT 逐渐演变成了一种可以兼容多种 GPT 模型的聊天应用（服务），且依赖 GPT 系列模型来运转。 在艺术形态方面，以 Midjourney 等工具为代表，通过背后的人工智能模型，用户根据提供的文本描述可生成高度相关和创造性的图像。这种通过文本命令获得图像的方式叫做 Prompting，是一种全新形态的人机交互。其核心机制涉及数据（包括获取世界上万事万物的图像存档、创建特定数据集等）、映射（使用算法识别和提取图片中的关键视觉特征）和扩散（利用学习到的数据和视觉特征创造新的视觉表达形式）。 生成式 AI 可以应用于广泛的场景，例如文档摘要、信息提取、代码生成、营销活动创建、虚拟协助、呼叫中心机器人等。 其工作方式包括训练阶段（从大量现有内容中学习，得到基础模型）和应用阶段（基础模型可生成内容并解决一般性问题，还可使用特定领域新数据集进一步训练以解决特定问题）。 Google Cloud 提供了相关工具，如 Vertex AI（端到端机器学习开发平台）、Generative AI Studio（允许快速制作原型和自定义生成式 AI 模型）、Model Garden（提供 MLOps 工具，用于自动化机器学习管道）。

以下是为您提供的关于免费的生成式人工智能的相关信息： 免费试用和折扣： 从 12 月 16 日起向奥德赛计划注册用户开放，已筹集超过 75 万美元的免费试用机会，助力开启人工智能电影制作之旅。 图像与视频生成平台： Civitai：是开源生成式人工智能的家园，使命是使工具和资源普及化。提供模型托管、图像/视频生成和模型训练服务，已发展成拥有 650 万月活跃成员的社区。 KLING AI：下一代一站式人工智能创作平台，拥有强大的人工智能图像和视频生成能力，通过提示和图像激发创造力，具有先进的文本理解能力、精细的细节处理和多种风格。提供积分试用套餐和高级功能抢先体验。 Viggle：允许用户通过 3D 视频基础模型 JST 指定角色的动作。创作者、品牌和电影制作人可轻松替换角色、复制动作并将想法变为现实。前 5000 名注册用户可享受 1 个月的 Viggle 专业计划。 Hailuo Video by MiniMax：强大的人工智能驱动的视频生成引擎。从将简单文本转换为生动、专业品质的视频，到将静态图像转换为动态视觉故事。3 天内为用户提供 1000 积分。 Hedra：开创性的视频基础模型公司，正在构建能够实现控制、情感和创造性智能的全栈创作工作室。前 5000 名注册用户可享受 1 个月的 Hedra 基本计划。 生成式人工智能的相关知识： 生成式人工智能是可以产生各种类型内容的人工智能，包括文本、图像、音频和合成数据。 它需要在流程的开始和结束时进行人工参与，人类需向生成模型输入提示才能让其创建内容。 生成式人工智能输出自然语言、图像或音频，而非生成式人工智能输出数字或类别。 生成式人工智能模型使用统计模型预测预期的响应，并根据训练数据的基础结构生成新的内容。 生成式人工智能的力量来自于使用了 Transformers 技术，但也可能产生幻觉。 学习资源： 视频学习地址：https://youtu.be/G2fqAlgmoPo 中文版本推荐：和超正经学术君

CNN（卷积神经网络）主要应用于以下领域： 1. 模式识别任务，在计算上比大多数其他架构更有效、更快速。 2. 自然语言处理，已被用来击败大多数其他算法。 3. 图像识别，用于图像特征提取。 4. 推荐系统，将用户行为或物品属性映射到低维空间以进行协同过滤或基于内容的推荐。 5. 视觉分析，在 CV（计算机视觉）中发挥核心作用，经历了从零开始的深度学习、有监督、无监督和自监督等阶段。

OCR 大模型的原理如下： 1. 生成式：大模型根据已有的输入为基础，不断计算生成下一个字词（token），逐字完成回答。例如，一开始给定提示词，大模型结合自身存储的知识进行计算推理，算出下一个单词的概率并输出，新的输出与过去的输入一起成为新的输入来计算下一个词，直到计算出的概率最大时结束输出。 2. 预训练：大模型“脑袋”里存储的知识都是预先学习好的，这个预先学习并把对知识的理解存储记忆在“脑袋”里的过程称为预训练。预训练需要花费大量时间和算力资源，且在没有其他外部帮助的情况下，大模型所知道的知识信息可能不完备和滞后。 3. 规模效应：参数规模的增加使得大模型实现了量变到质变的突破，最终“涌现”出惊人的“智能”。就像人类自身，无论是物种进化还是个体学习成长，都有类似“涌现”的结构。

字节在安全审核业务中可能运用到的大模型包括： 1. Claude2100k 模型，其上下文上限是 100k Tokens，即 100000 个 token。 2. ChatGPT16k 模型，其上下文上限是 16k Tokens，即 16000 个 token。 3. ChatGPT432k 模型，其上下文上限是 32k Tokens，即 32000 个 token。 大模型的相关知识： 1. 大模型中的数字化便于计算机处理，为让计算机理解 Token 之间的联系，需把 Token 表示成稠密矩阵向量，这个过程称为 embedding，常见算法有基于统计的 Word2Vec、GloVe，基于深度网络的 CNN、RNN/LSTM，基于神经网络的 BERT、Doc2Vec 等。 2. 以 Transform 为代表的大模型采用自注意力机制来学习不同 token 之间的依赖关系，生成高质量 embedding。大模型的“大”指用于表达 token 之间关系的参数多，例如 GPT3 拥有 1750 亿参数。 3. 大模型的架构包括 encoderonly（适用于自然语言理解任务，如分类和情感分析，代表模型是 BERT）、encoderdecoder（同时结合 Transformer 架构的 encoder 和 decoder 来理解和生成内容，代表是 google 的 T5）、decoderonly（更擅长自然语言生成任务，典型使用包括故事写作和博客生成，众多 AI 助手基本都来自此架构）。大模型的特点包括预训练数据非常大（往往来自互联网，包括论文、代码、公开网页等，一般用 TB 级数据进行预训练）、参数非常多（如 Open 在 2020 年发布的 GPT3 已达到 170B 的参数）。

大模型在金融领域的量化投研领域有以下应用和特点： 1. 大型系统工程： 量化和大模型都需要大型计算集群，上万张卡的互联是对基础设施的极致挑战。量化对性能和效率有极致追求，交易指令速度至关重要；大模型在基础设施层面的每一点提升都能优化训练效率。 细节在大型系统工程中十分关键。量化交易系统包含多个方面，任何环节出问题都会导致交易系统失败；大模型预训练从数据到评估包含大量细节，如数据配比、顺序、训练策略等。 2. 本土化机会： 很多 Global 的量化基金到中国会水土不服，国家政策也限制其大规模开展业务，给国内量化基金崛起机会。 OpenAI、Google、Meta 等的模型中文能力一般，未对中国国情优化，不符合政策要求，给国内大模型公司本土化预训练机会。 两者都受政策影响极大，需要有效监管才能健康发展。 3. 其他相似之处： 少数精英的人赚大量的钱，做大模型和金融量化都不用很多人，但每个人都要绝顶聪明。 核心问题一样，下一个 token 预测和下一个股价预测类似。 都需要大量数据，都追求可解释性。 作者：黄文灏 源地址：https://zhuanlan.zhihu.com/p/646909899 最近和朋友讨论发现大模型预训练和金融量化有很多相似之处，作者恰好同时具有两者背景，做了对比。

大模型在办公场景有诸多应用，具体如下： 基础办公提效：在 PPT、Excel、会议报告、策划会、文案包装、图文海报、客服机器人 bot 等方面，能从单个任务 task 到角色 role 再到角色间协同 collaboration 显著提高工作效率。 人力资源管理：覆盖招聘初期（如职位描述生成、简历分析、面试题设计）、员工绩效评估（分析员工工作表现，识别绩效趋势和提升点，为管理层提供数据支持的绩效反馈）以及员工培训与发展各个环节，提高工作效率。 通俗来讲，大模型是输入大量语料，让计算机获得类似人类的“思考”能力，能够理解自然语言，进行文本生成、推理问答、对话、文档摘要等工作。其训练和使用过程可类比为上学参加工作： 1. 找学校：训练大模型需要大量计算，GPU 更合适，只有购买得起大量 GPU 的才有资本训练自己的大模型。 2. 确定教材：大模型需要的数据量特别多，几千亿序列（Token）的输入基本是标配。 3. 找老师：即用合适的算法讲述“书本”中的内容，让大模型更好理解 Token 之间的关系。 4. 就业指导：为了让大模型更好胜任某一行业，需要进行微调（fine tuning）指导。 5. 搬砖：就业指导完成后，正式干活，比如进行翻译、问答等，在大模型里称之为推导（infer）。 在 LLM 中，Token 被视为模型处理和生成的文本单位，能代表单个字符、单词、子单词，甚至更大的语言单位，具体取决于所使用的分词方法（Tokenization）。Token 是原始文本数据与 LLM 可以使用的数字表示之间的桥梁。在将输入进行分词时，会对其进行数字化，形成一个词汇表（Vocabulary）。 此外，在游戏行业，大模型能降低成本，打造创新玩法，提供更好的游戏体验。如网易推出的首款 AI 手游《逆水寒》，将 AIGC 应用于美术开发，在 NPC 与玩家的交互上呈现独特剧情体验，还内嵌了全自动“AI 作词机”。在健身行业，AI 减重顾问既能解决售前客服问题，也能解决学员离开健身营之后的健康监护，提高学员体验。

在图像对比与图像搜索方面，以下是一些相关的 AI 大模型特点和应用： RAG（检索增强生成）：通过引用外部数据源为模型做数据补充，适用于动态知识更新需求高的任务。其原理是在基础大模型基础上引用外部数据，对搜索到的数据信息进行切片、拆分和语义理解，再根据用户提问进行检索和回答，但比基座模型更耗时。RAG 是一个检索生成框架，能够支持在本地运行。 AI 搜索：结合了多种能力，如 fine tuning、实时联网查询和查询知识源等，能够为用户整理出想要的内容。一些 AI 搜索平台专注于特定领域，如为程序员提供代码搜索。 多模态大模型：像能唱会跳、精通多种技能的机器人，能看见、听见、思考、说话，例如能识别物体、听取指令等。 生成式模型和决策式模型：决策式模型偏向逻辑判断，按预设程序固定输出；生成式模型偏随机性，能动态组合并结构化呈现，如在图像识别中，决策式模型返回关键词，生成式模型用语言表达结构化信息。

ChatGPT 的训练模型主要包括以下几个方面： 1. 预训练（Pretrain）阶段：建立模型的能力上限，如确定模型各方面能力的天花板。此阶段跟 GPT3 的方法近似，例如采用 decoderonly 的网络架构，有特定的模型大小、输入窗口大小、单词本大小，见过大量的 tokens，使用大量的原始训练文本。 2. 监督微调（Supervised Finetune，SFT）阶段：让模型学会对话的形式展开，即知道如何按照对话的格式进行交流。 3. 强化学习从人类反馈（Reinforcement Learning from Human Feedback，RLHF）阶段：细分为奖励模型（RM）阶段和强化学习（RL）阶段，能激发模型具备多种能力，包括安全性、推理能力和稳定性等。 训练方式主要是通过材料学习，不断形成模型。其本质功能是“单字接龙”，通过自回归生成的方式，将生成的下一个词与之前的上文组合，不断重复生成任意长的下文。训练的目的不是记忆，而是学习提问和回答的通用规律，实现举一反三，即泛化。学习材料用于调整模型，得到通用模型，以处理未被数据库记忆的情况。ChatGPT 不是搜索引擎的升级版，搜索引擎无法给出未被数据库记忆的信息，而 ChatGPT 作为生成模型可以创造不存在的文本，但可能存在混淆记忆、无法直接查看和更新所学、高度依赖学习材料以及缺乏及时性和准确性等缺点。