以下是关于 AI 大模型的相关内容:
一、大模型的整体架构
二、再补充一些概念 - AI Agent Agent 是从年前到现在比较火的概念,被很多人认为是大模型的未来主要发展方向。中间的“智能体”其实就是 llm 或大模型,四个箭头分别是为 llm 增加的工具、记忆、行动、规划四个能力。目前行业里主要用到的是 langchain 框架,它把 llm 之间以及 llm 和工具之间通过代码或 prompt 的形式进行串接。
三、必须理解的核心概念
首先为方便大家对大模型有一个整体的认知,我们先从大模型的整体架构着手,来看看大模型的组成是怎么样的。下面是我大致分的个层。从整体分层的角度来看,目前大模型整体架构可以分为以下几层:[heading3]1.基础层:为大模型提供硬件支撑,数据支持等[content]例如A100、数据服务器等等。[heading3]2.数据层[content]这里的数据层指的不是用于基层模型训练的数据基集,而是企业根据自己的特性,维护的垂域数据。分为静态的知识库,和动态的三方数据集[heading3]3.模型层:LLm或多模态模型[content]LLm这个大家应该都知道,large-language-model,也就是大语言模型,例如GPT,一般使用transformer算法来实现。多模态模型即市面上的文生图、图生图等的模型,训练所用的数据与llm不同,用的是图文或声音等多模态的数据集[heading3]4.平台层:模型与应用间的平台部分[content]比如大模型的评测体系,或者langchain平台等,提供模型与应用间的组成部分[heading3]5.表现层:也就是应用层,用户实际看到的地方[content]这个就很好理解了,就不用我多作解释了吧
agent算是从年前到现在,比较火的一个概念了,也被很多人认为是大模型的未来的一个主要发展方向。首先我们看这个很经典的一张图看起来还是蛮复杂的,然后市面上的很多描述agent的文章写的也比较复杂,说智能体是啥智能的最小单元,相较于copilot,是可以给他设定一个目标后主动完成任务的等等。当然这些说法都没错,但是我觉得还是有些不好理解的。所以我们依然先从原理着手去理解下,agent是个什么东西。首先这张图里,中间的“智能体”,其实就是llm,或者说大模型。四个箭头,分别是我们为llm增加的四个能力。工具、记忆、行动、规划。那么这个是怎么新增的呢?目前行业里主要用到的是一个叫langchain的框架,这个框架可以简单理解为,他把llm和llm之间,以及llm和工具之间,通过代码或prompt的形式,进行了串接。这个其实也像是在rag的基础上再进了一步。因为我们知道rag其实是给了大模型一个浏览器工具来使用嘛,那agent,其实就是给了大模型更多的工具。比如像是长期记忆,其实就是给了大模型一个数据库工具让其往里记录重要信息。规划和行动,其实就是在大模型的prompt层做的些逻辑,比如让其将目标进行每一步的拆解,拆解完成后,每一步去输出不同的固定格式action指令,给到工具作为输入。当然langchain或者说agent还不止这些,也会有很多其他的代码逻辑体现在其中,不过其主要的主干逻辑,其实还是在prompt层和工具层,完成的设计。
图9大模型核心基础概念泛化能力:不用人话说是“指模型在未曾见过的数据上表现良好的能力”,用大白话讲就是“举一反三”的能力,人类就是泛化能力很强的物种,我们不需要见过这个世界上的每一只猫,就能认识猫这个概念。多模态:指多数据类型交互,从而能够提供更接近人类感知的场景。正如人有眼、耳、鼻、舌、身、意等多个模态,大模型对应的模态是文本、图像、音频、视频……对齐能力:指与人类价值观与利益目标保持一致的能力。大模型相比我们普通人类个体是“无所不知”的,但他并不会把他知道的都告诉你,例如你问chatGPT如何制造炸弹,他虽然知道,但并不会告诉你具体步骤和配方,这是因为chatGPT做了很好的对齐工程,但目前阶段,有很多提示词注入的方法,也能绕过各种限制,这也开辟了大模型领域黑白对抗的新战场(事实上,人类自身就不是一个价值观对齐的物种,同一件事在一些群体眼中稀松平常,但在另一些群体眼中十恶不赦,因此“和谁对齐”确实是一个灵魂问题)。图10大模型核心基础概念