Google的人工智能多模态大模型叫什么

Google 的实验性产品 Learn About 具有以下功能： 1. 专注于知识学习，能帮助用户全面深入学习任意领域的信息，如历史、艺术、自然、生物、物理、科学、经济、个人成长等。 2. 设计保证信息真实性，可自动扩展相关知识。 3. 呈现方式直观，具有丰富的交互内容和交互形式。 输入提示词（英文）后进入对话页面。 右侧是当前话题的信息流，左侧是拓展查询列表。 右侧页面有样式丰富的内容板块，左侧页面点击问题或输入追问可进一步下钻话题。 4. 拥有多种样式丰富的交互卡片，包括图文并茂、视频推荐、关键词释义、相关概念链接、话题要点总结、澄清常见误区、互动示例（多轮追问）、测验考题（多轮追问）。 5. 使用了 LearnLM 模型，这是 Google 今年 5 月份推出的 Gemini 系列模型之一，专门面向学习场景进行了微调。以教育研究为基础，核心目标是构建个性化的学习体验。目前，除了 Learn About 这款产品外，LearnLM 还被用于 Google Search AI Overview、Youtube 学术视频问答等产品中，也可以在 Google AI Studio 里直接与模型对话。 目前该产品处于测试阶段，仅限美国访问，可通过 VPN 体验。访问链接：

以下是为您整合的相关内容： Google 最近发布了 185 个全球企业生成式 AI 应用案例，涵盖客户服务、员工管理、代码开发、数据分析、安全管理和创意领域。案例展示了 AI 如何优化客户体验、提升员工效率、加速代码处理、改善数据分析、增强安全性及简化创意生产。详情可参考：《》 Coze 汽车售后服务知识库 Bot 旨在提升服务顾问和维修技师的专业水平和维修效率。该 Bot 通过提供标准化解决方案，辅助车辆故障分析和检查，弥补专业知识不足和技术支持文档标准化问题。主要目标是提升服务质量，减少对技师经验的依赖，为汽车售后服务提供智能化支持。详情可参考：《》

生成式 AI Studio 是 Google Cloud 上的一个工具，允许应用程序开发人员或数据科学家快速制作原型和自定义生成式 AI 模型，无需代码或代码量少。 生成式人工智能是一种能够生成新的、未曾存在内容的人工智能技术，生成的内容可以是多模态的，包括文本（如文章、报告、诗歌等）、图像（如绘画、设计图、合成照片等）、音频（如音乐、语音、环境声音等）、视频（如电影剪辑、教程、仿真等）。 其应用场景广泛，例如文档摘要、信息提取、代码生成、营销活动创建、虚拟协助、呼叫中心机器人等。 生成式人工智能的工作原理包括训练阶段和应用阶段。在训练阶段，通过从大量现有内容（文本、音频、视频等）中学习，得到一个“基础模型”。在应用阶段，基础模型可用于生成内容并解决一般性问题，还可以使用特定领域的新数据集进一步训练以解决特定问题。 Google Cloud 提供了多种相关工具，如 Vertex AI（端到端机器学习开发平台，帮助构建、部署和管理机器学习模型）、Model Garden（平台，可发现 Google 的基础和第三方开源模型，并提供 MLOps 工具用于自动化机器学习管道）。

谷歌在 I/O 发布会上宣布了一系列搜索产品的更新，包括 AI Overviews、多步骤推理能力、视频提问、提前计划、AI 组织的搜索结果等功能。此外，谷歌还在 Workspace（Gmail）、谷歌文档、谷歌表格、Google Photos 和 Circle to Search 等应用中集成了生成式人工智能技术，以提高用户的使用体验。

多模态指多数据类型交互，能够提供更接近人类感知的场景。大模型对应的模态包括文本、图像、音频、视频等。例如，Gemini 模型本身就是多模态的，它展示了无缝结合跨模态能力，如从表格、图表或图形中提取信息和空间布局，以及语言模型的强大推理能力，在识别输入中的细微细节、在空间和时间上聚合上下文，以及在一系列视频帧和/或音频输入上应用这些能力方面表现出强大的性能。 跨模态通常指不同模态之间的交互和融合。例如在 GPT4 的相关研究中，探索了视觉和音频等可能出乎意料的模态。智能的一个关键衡量标准是能够从不同的领域或模式中综合信息，并能够跨不同的情境或学科应用知识和技能。

多模态应用是生成式人工智能领域的重要突破点，具有以下特点和潜力： 能够无缝处理和生成多种音频或视觉格式的内容，将交互扩展到超越语言的领域。如 GPT4、Character.AI 和 Meta 的 ImageBind 等模型已能处理和生成图像、音频等模态，但能力还较基础，不过进展迅速。 随着 LLMs 不断进化，能更好地理解和与多种模态交互，使用依赖 GUI 的现有应用程序，为消费者提供更引人入胜、连贯和全面的体验，改变娱乐、学习与发展以及跨各种消费者和企业用例的内容生成。 与工具使用密切相关，使 LLMs 能够使用设计给人类使用但没有自定义集成的工具，如传统的企业资源计划（ERP）系统等。从长远看，多模态特别是与计算机视觉的集成，可通过机器人、自动驾驶车辆等应用程序，将 LLMs 扩展到物理现实中。 关键突破点在于多模态模型能够在没有重大定制的情况下推理图像、视频甚至物理环境。 基于多模态大模型的应用能够迅速解释现实世界，如将手机置于车载摄像机位置，实时分析当前地区新春的流行趋势。其架构中后端采用 llama.cpp 挂载 LLaVA 模型提供推理服务，部署 Flask 应用用于数据处理，前端页面采用 HTML5 采集画面和用户输入。

以下为您推荐几个国内能用的支持多模态交流的 APP 及相关模型： 1. 百度（文心一言）：https://wenxin.baidu.com 2. 抖音（云雀大模型）：https://www.doubao.com 3. 智谱 AI（GLM 大模型）：https://chatglm.cn 4. 中科院（紫东太初大模型）：https://xihe.mindspore.cn 5. 百川智能（百川大模型）：https://www.baichuanai.com/ 6. 商汤（日日新大模型）：https://www.sensetime.com/ 7. MiniMax（ABAB 大模型）：https://api.minimax.chat 8. 上海人工智能实验室（书生通用大模型）：https://internai.org.cn 此外，智谱·AI 开源的多模态模型有： 1. CogAgent18B：基于 CogVLM17B 改进的开源视觉语言模型。拥有 110 亿视觉参数和 70 亿语言参数，支持 11201120 分辨率的图像理解，具备 GUI 图像的 Agent 能力。 代码链接： 模型下载： 2. CogVLM17B：强大的开源视觉语言模型（VLM），在多模态权威学术榜单上综合成绩优异。 代码链接：无 模型下载： 3. Visualglm6B：开源的支持图像、中文和英文的多模态对话语言模型。 代码链接： 模型下载：

以下几家的大模型支持通过手机视频多模态实时交流： 1. PandaGPT：能够理解不同模式的指令并根据指令采取行动，包括文本、图像/视频、音频、热、深度和惯性测量单位。 2. VideoLLaMA：引入了多分支跨模式 PT 框架，使语言模型能够在与人类对话的同时处理给定视频的视觉和音频内容。 3. 视频聊天 GPT：专门为视频对话设计，能够通过集成时空视觉表示来生成有关视频的讨论。 4. NExTGPT：端到端、通用的 anytoany 多模态语言模型，支持图像、视频、音频、文本的自由输入输出。

以下是关于多模态大模型的相关信息： Google 的多模态大模型叫 Gemini，是由 Google DeepMind 团队开发的。它不仅支持文本、图片等提示，还支持视频、音频和代码提示，能够理解和处理几乎任何输入，结合不同类型的信息，并生成几乎任何输出，被称为 Google 迄今为止最强大、最全面的模型，从设计之初就支持多模态，能够处理语言、视觉、听觉等不同形式的数据。 多模态大模型（MLLM）是一种在统一的框架下，集成了多种不同类型数据处理能力的深度学习模型，这些数据可以包括文本、图像、音频和视频等。通过整合这些多样化的数据，MLLM 能够更全面地理解和解释现实世界中的复杂信息，在面对复杂任务时表现出更高的准确性和鲁棒性。其典型架构包括一个编码器、一个连接器和一个 LLM，还可选择性地在 LLM 上附加一个生成器，以生成除文本之外的更多模态。连接器大致可分为基于投影的、基于查询的和基于融合的三类。 有基于多模态大模型给现实世界加一本说明书的应用，例如将手机置于车载摄像机位置，能够实时分析当前地区今年新春的最新流行趋势。在这种架构中，后端采用 llama.cpp 挂载 LLaVA 模型，为应用提供推理服务。同时，部署了一个 Flask 应用用于数据前处理和后处理，提供 Stream 流服务。前端页面采用 HTML5，用于采集画面和用户输入，整体设计以简单高效为主。下载模型 ggml_llavav1.513b，这里选择是 13b 4bit 的模型。BakLLaVA 推理速度更快，但对中文的支持较差，7b 的模型在语义理解方面普遍存在不足，特别是在需要规范数据格式进行交互的场合。对于 function call 和 action 操作，极度依赖模型的 AGI 能力。

CLIP 模型能应用于跨模态检索。以下是关于 CLIP 模型的一些详细信息： 对比语言图像预训练（CLIP）通过将图像和文本转换成固定大小的向量，使它们在一个共同的嵌入空间中对齐来训练模型，对于多模态信息检索和相关任务非常重要。 在 Stable Diffusion 中，CLIP 模型作为文生图模型的文本编码模块，决定了语义信息的优良程度，影响图片生成的多样性和可控性。它包含 Text Encoder 和 Image Encoder 两个模型，分别用于提取文本和图像的特征，可灵活切换，且具有强大的 zeroshot 分类能力。其庞大的图片与标签文本数据的预训练赋予了其强大的能力，把自然语言领域的抽象概念带到了计算机视觉领域。 自 2021 年以来，多模态模型成为热门议题，CLIP 作为开创性的视觉语言模型，将 Transformer 架构与视觉元素相结合，便于在大量文本和图像数据集上进行训练，可在多模态生成框架内充当图像编码器。 为解决 CLIP 模型在仅文本任务中表现不如专门用于文本的模型，导致信息检索系统处理仅文本和多模态任务时效率低下的问题，已提出新颖的多任务对比训练方法训练相关模型，使其在文本图像和文本文本检索任务中达到最先进性能。

不同国家对人工智能的接受态度存在差异： 美国：稳居对人工智能兴趣的榜首，在 12 个月里，其人工智能行业访问量达 55 亿次，占总流量的 22.62%。美国拥有超过 1.8 万亿美元的全球领先科技市场。 印度：紧随美国之后，访问量达 21 亿人次，占总流量的 8.52%。印度是全球最大的 IT 和 BPO 服务出口国之一。 印度尼西亚、菲律宾和巴西：兴趣水平相似，去年产生了 1.3 至 14 亿人次的访问量。巴西在南美洲处于领先地位，其产生的流量几乎是排在第二位的英国、日本和德国的两倍。 中国：尽管拥有 14 亿人口，但未跻身前 20 名。 从全球视角看教育与 AI 的融合程度： 北欧国家如芬兰，全社会重视教育和技术创新，政府重点投资教育技术研发和应用，实现个性化教学，培养学生批判性思维和解决复杂问题的能力。 许多发展中国家，尤其是撒哈拉以南的非洲国家，在教育资源基础配置上严重不足，基础设施薄弱，电力和网络连接不可靠，难以实现 AI 技术的高级应用。 在 AI 地缘政治方面： 最先进的 AGI 世界模型不开源，开源模型会落后闭源一个代际，但服务更广泛的专业应用。 美国对中国的硬件 科技限制进一步升级。 AGI 对全行业科技发展起推动作用，有更好 AGI 的国家会有更快的全面技术进步。 对于 AI 的立法、监管、伦理讨论大范围落后于技术发展，全世界主要国家都急于拥有自己的 AI，目前只有欧洲有相关讨论，但也仅在纸面上，我国相关法规讨论出发点在于“对于舆论的影响”，未触及 AGI 本身的伦理问题。

不同国家对人工智能的态度和相关情况如下： 欧洲：《欧盟人工智能法案》获得批准并正式生效，成为世界上第一个全面采用人工智能监管框架的地区。执行将分阶段进行，对“不可接受的风险”的禁令将于 2025 年 2 月生效。 美国：大型实验室努力应对欧洲监管。美国商务部对中国实施更严格的出口管制和投资限制，包括要求美国制造商停止向我国半导体制造商进行最先进设施的销售，阻止或限制对中国初创企业的投资。 中国：是第一个开始制定生成式人工智能监管框架的国家，审查机构已介入。持续生产 SOTA 模型，由国家互联网信息办公室监督，发布模型前须提交测试以校准拒绝率。禁止访问 Hugging Face 等国外网站，但官方批准的“主流价值观语料库”可作为训练数据源。 美国在人工智能行业的访问量方面，稳居第一。在研究的 12 个月里，访问量达到 55 亿次，占总流量的 22.62%。印度紧随其后，访问量达到 21 亿人次，占总流量的 8.52%。印度尼西亚、菲律宾和巴西的兴趣水平相似，产生了 1.3 至 14 亿人次的访问量。巴西在南美洲处于领先地位，其流量几乎是排在第二位的英国、日本和德国的两倍。有趣的是，尽管中国拥有 14 亿人口，但未跻身前 20 名。

人工智能在教育领域的应用广泛且具有颠覆性，主要体现在以下几个方面： 1. 个性化学习平台：通过集成算法和大数据分析，实时跟踪学生学习进度，诊断学习难点，提供个性化学习建议和资源。例如 Knewton 平台，通过对数百万学生行为模式分析，精准预测学习难点并提前给出解决方案，大幅提升学习效率。 2. 自动评估：利用自然语言处理技术（NLP）自动批改学生作文和开放性答案题。如 Pearson 的 Intelligent Essay Assessor，能够分析和理解写作内容，给出准确评分和反馈，减轻教师批改负担，提高评估效率和一致性。 3. 智能辅助教学工具：使课堂教学更丰富和互动，如 AI 教师能引导学生通过对话学习、解答疑问并提供即时反馈。Google 的 AI 教育工具 AutoML 用于创建定制学习内容，提高学习动机，加深知识掌握。 4. 虚拟现实（VR）和增强现实（AR）：学生可通过 VR 头盔进入虚拟实验室，安全进行实验操作并得到 AI 系统反馈。例如 Labster 的虚拟实验室平台，提供高科技实验室场景，让学生尝试复杂实验流程，无需昂贵设备或专业环境。 同时，北京大学教育学院教授汪琼指出，教育领域的数字化转型不能只是将传统教育方式搬到线上，还需新解决方案，技术创新应用和数据整合挖掘是关键。我们正进入新时代，AI 成为教与学的伙伴，但在迎接新一代人工智能发展带来的挑战时，必须注意“信息茧房”的危害，平衡其潜力与局限，注意技术引入的全局影响。 然而，AI 技术对传统教育体系的冲击也带来诸多挑战，如教育体系内部惯性、教师技能更新、课程内容适时调整、评估和认证机制改革等。

以下是关于 AI 的相关内容： 律师如何写好提示词用好 AI： 对于不具备理工科背景的文科生，可将 AI 视为黑箱，只需知道其能模仿人类思维理解和输出自然语言。AI 就像似人而非人的存在，与传统道教的驱神役鬼拘灵遣将有相似之处。提示词应是相对完善的“谈话方案”，成果在与 AI 的对话中产生，要接受其存在的“不稳定性”，并在对话中限缩自己思维的模糊地带。 AI 的应用场景： 医疗保健：包括医学影像分析、药物研发、个性化医疗、机器人辅助手术等。 金融服务：涵盖风控和反欺诈、信用评估、投资分析、客户服务等。 零售和电子商务：有产品推荐、搜索和个性化、动态定价、聊天机器人等。 制造业：包含预测性维护、质量控制、供应链管理、机器人自动化等。 交通运输：（未具体阐述）

目前，人工智能主播的发展呈现出以下现状： 1. 聊天机器人作为人工智能伴侣已存在数十年，如今在一对一对话中有了跃进式改进，并融入到人们的社交生活中。 2. 像 CarynAI 这样由网络红人创建的语音聊天机器人，用户需付费与其交流，且能带来可观收益。 3. 拥有人工智能伴侣虽看似小众，但已成为生成式人工智能的主要应用案例，成千上万甚至数百万人已建立并培养了与聊天机器人的关系，且这一趋势有望使 AI 伴侣变得普遍。 4. 许多受欢迎的应用场景与浪漫相关，精明的生成模型消费者通过一些平台打造虚拟伴侣，并寻找规避审查的工具，甚至存在拥有数万用户的地下伴侣托管服务。 5. 除了与浪漫相关的应用，还出现了更广泛的应用领域，如 Snapchat 中的聊天机器人，人们会就宠物、流行文化新闻和足球等热门话题进行交流。

人工智能作为一个领域始于二十世纪中叶。最初，符号推理流行，带来了如专家系统等重要进展，但因从专家提取知识并以计算机可读形式表现及保持知识库准确性复杂且成本高，20 世纪 70 年代出现“人工智能寒冬”。 随着时间推移，计算资源便宜、数据增多，神经网络方法在计算机视觉、语音理解等领域展现卓越性能，过去十年中“人工智能”常被视为“神经网络”同义词。 在创建国际象棋计算机对弈程序方面，早期以搜索为基础，发展出阿尔法贝塔剪枝搜索算法，搜索策略在对局结束时效果好，开始时因搜索空间大需通过学习人类对局改进，后续采用基于案例的推理，现代能战胜人类棋手的程序基于神经网络和强化学习。 在创建“会说话的程序”方面，早期如 Eliza 基于简单语法规则将输入句子重新表述为问题，现代助手如 Cortana、Siri 或谷歌助手是混合系统，使用神经网络转换语音并识别意图，未来期待完整基于神经网络的模型独立处理对话，最近的 GPT 和 TuringNLG 系列神经网络取得巨大成功。 最初查尔斯·巴贝奇发明计算机用于按明确程序运算，现代计算机虽先进但仍遵循相同理念。但有些任务如根据照片判断年龄无法明确编程，因不知大脑完成任务的具体步骤，这种类型任务是人工智能感兴趣的。 译者：Miranda，原文见 https://microsoft.github.io/AIForBeginners/lessons/1Intro/README.md 。

OCR 大模型的原理如下： 1. 生成式：大模型根据已有的输入为基础，不断计算生成下一个字词（token），逐字完成回答。例如，一开始给定提示词，大模型结合自身存储的知识进行计算推理，算出下一个单词的概率并输出，新的输出与过去的输入一起成为新的输入来计算下一个词，直到计算出的概率最大时结束输出。 2. 预训练：大模型“脑袋”里存储的知识都是预先学习好的，这个预先学习并把对知识的理解存储记忆在“脑袋”里的过程称为预训练。预训练需要花费大量时间和算力资源，且在没有其他外部帮助的情况下，大模型所知道的知识信息可能不完备和滞后。 3. 规模效应：参数规模的增加使得大模型实现了量变到质变的突破，最终“涌现”出惊人的“智能”。就像人类自身，无论是物种进化还是个体学习成长，都有类似“涌现”的结构。

字节在安全审核业务中可能运用到的大模型包括： 1. Claude2100k 模型，其上下文上限是 100k Tokens，即 100000 个 token。 2. ChatGPT16k 模型，其上下文上限是 16k Tokens，即 16000 个 token。 3. ChatGPT432k 模型，其上下文上限是 32k Tokens，即 32000 个 token。 大模型的相关知识： 1. 大模型中的数字化便于计算机处理，为让计算机理解 Token 之间的联系，需把 Token 表示成稠密矩阵向量，这个过程称为 embedding，常见算法有基于统计的 Word2Vec、GloVe，基于深度网络的 CNN、RNN/LSTM，基于神经网络的 BERT、Doc2Vec 等。 2. 以 Transform 为代表的大模型采用自注意力机制来学习不同 token 之间的依赖关系，生成高质量 embedding。大模型的“大”指用于表达 token 之间关系的参数多，例如 GPT3 拥有 1750 亿参数。 3. 大模型的架构包括 encoderonly（适用于自然语言理解任务，如分类和情感分析，代表模型是 BERT）、encoderdecoder（同时结合 Transformer 架构的 encoder 和 decoder 来理解和生成内容，代表是 google 的 T5）、decoderonly（更擅长自然语言生成任务，典型使用包括故事写作和博客生成，众多 AI 助手基本都来自此架构）。大模型的特点包括预训练数据非常大（往往来自互联网，包括论文、代码、公开网页等，一般用 TB 级数据进行预训练）、参数非常多（如 Open 在 2020 年发布的 GPT3 已达到 170B 的参数）。

大模型在金融领域的量化投研领域有以下应用和特点： 1. 大型系统工程： 量化和大模型都需要大型计算集群，上万张卡的互联是对基础设施的极致挑战。量化对性能和效率有极致追求，交易指令速度至关重要；大模型在基础设施层面的每一点提升都能优化训练效率。 细节在大型系统工程中十分关键。量化交易系统包含多个方面，任何环节出问题都会导致交易系统失败；大模型预训练从数据到评估包含大量细节，如数据配比、顺序、训练策略等。 2. 本土化机会： 很多 Global 的量化基金到中国会水土不服，国家政策也限制其大规模开展业务，给国内量化基金崛起机会。 OpenAI、Google、Meta 等的模型中文能力一般，未对中国国情优化，不符合政策要求，给国内大模型公司本土化预训练机会。 两者都受政策影响极大，需要有效监管才能健康发展。 3. 其他相似之处： 少数精英的人赚大量的钱，做大模型和金融量化都不用很多人，但每个人都要绝顶聪明。 核心问题一样，下一个 token 预测和下一个股价预测类似。 都需要大量数据，都追求可解释性。 作者：黄文灏 源地址：https://zhuanlan.zhihu.com/p/646909899 最近和朋友讨论发现大模型预训练和金融量化有很多相似之处，作者恰好同时具有两者背景，做了对比。

大模型在办公场景有诸多应用，具体如下： 基础办公提效：在 PPT、Excel、会议报告、策划会、文案包装、图文海报、客服机器人 bot 等方面，能从单个任务 task 到角色 role 再到角色间协同 collaboration 显著提高工作效率。 人力资源管理：覆盖招聘初期（如职位描述生成、简历分析、面试题设计）、员工绩效评估（分析员工工作表现，识别绩效趋势和提升点，为管理层提供数据支持的绩效反馈）以及员工培训与发展各个环节，提高工作效率。 通俗来讲，大模型是输入大量语料，让计算机获得类似人类的“思考”能力，能够理解自然语言，进行文本生成、推理问答、对话、文档摘要等工作。其训练和使用过程可类比为上学参加工作： 1. 找学校：训练大模型需要大量计算，GPU 更合适，只有购买得起大量 GPU 的才有资本训练自己的大模型。 2. 确定教材：大模型需要的数据量特别多，几千亿序列（Token）的输入基本是标配。 3. 找老师：即用合适的算法讲述“书本”中的内容，让大模型更好理解 Token 之间的关系。 4. 就业指导：为了让大模型更好胜任某一行业，需要进行微调（fine tuning）指导。 5. 搬砖：就业指导完成后，正式干活，比如进行翻译、问答等，在大模型里称之为推导（infer）。 在 LLM 中，Token 被视为模型处理和生成的文本单位，能代表单个字符、单词、子单词，甚至更大的语言单位，具体取决于所使用的分词方法（Tokenization）。Token 是原始文本数据与 LLM 可以使用的数字表示之间的桥梁。在将输入进行分词时，会对其进行数字化，形成一个词汇表（Vocabulary）。 此外，在游戏行业，大模型能降低成本，打造创新玩法，提供更好的游戏体验。如网易推出的首款 AI 手游《逆水寒》，将 AIGC 应用于美术开发，在 NPC 与玩家的交互上呈现独特剧情体验，还内嵌了全自动“AI 作词机”。在健身行业，AI 减重顾问既能解决售前客服问题，也能解决学员离开健身营之后的健康监护，提高学员体验。

在图像对比与图像搜索方面，以下是一些相关的 AI 大模型特点和应用： RAG（检索增强生成）：通过引用外部数据源为模型做数据补充，适用于动态知识更新需求高的任务。其原理是在基础大模型基础上引用外部数据，对搜索到的数据信息进行切片、拆分和语义理解，再根据用户提问进行检索和回答，但比基座模型更耗时。RAG 是一个检索生成框架，能够支持在本地运行。 AI 搜索：结合了多种能力，如 fine tuning、实时联网查询和查询知识源等，能够为用户整理出想要的内容。一些 AI 搜索平台专注于特定领域，如为程序员提供代码搜索。 多模态大模型：像能唱会跳、精通多种技能的机器人，能看见、听见、思考、说话，例如能识别物体、听取指令等。 生成式模型和决策式模型：决策式模型偏向逻辑判断，按预设程序固定输出；生成式模型偏随机性，能动态组合并结构化呈现，如在图像识别中，决策式模型返回关键词，生成式模型用语言表达结构化信息。

ChatGPT 的训练模型主要包括以下几个方面： 1. 预训练（Pretrain）阶段：建立模型的能力上限，如确定模型各方面能力的天花板。此阶段跟 GPT3 的方法近似，例如采用 decoderonly 的网络架构，有特定的模型大小、输入窗口大小、单词本大小，见过大量的 tokens，使用大量的原始训练文本。 2. 监督微调（Supervised Finetune，SFT）阶段：让模型学会对话的形式展开，即知道如何按照对话的格式进行交流。 3. 强化学习从人类反馈（Reinforcement Learning from Human Feedback，RLHF）阶段：细分为奖励模型（RM）阶段和强化学习（RL）阶段，能激发模型具备多种能力，包括安全性、推理能力和稳定性等。 训练方式主要是通过材料学习，不断形成模型。其本质功能是“单字接龙”，通过自回归生成的方式，将生成的下一个词与之前的上文组合，不断重复生成任意长的下文。训练的目的不是记忆，而是学习提问和回答的通用规律，实现举一反三，即泛化。学习材料用于调整模型，得到通用模型，以处理未被数据库记忆的情况。ChatGPT 不是搜索引擎的升级版，搜索引擎无法给出未被数据库记忆的信息，而 ChatGPT 作为生成模型可以创造不存在的文本，但可能存在混淆记忆、无法直接查看和更新所学、高度依赖学习材料以及缺乏及时性和准确性等缺点。