直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

LLM原理

回答

LLM（大语言模型）的工作原理如下：

  • 大模型在回复时是一个字一个字地推理生成内容，就像输入法的输入联想逻辑，会根据输入的字推测下一个字。但仅算字的概率存在问题，且全量数据计算算力吃不消。
  • 为解决这些问题，出现了词向量机制和 transformer 模型中的 attention 自注意力机制。
  • 以“我今天吃了狮子头和蔬菜”这句话为例，在 transformer 中，attention 层会对其加入更多信息补充，如“狮子头是一道菜”“今天是星期六”等，层与层之间由模型自主学习哪些信息补充、保留和传递，最终把海量数据以关系网形式“消化”并保留重要相关性。
  • 这些层就像人阅读文章时的连贯性注意力过程，记忆的不是点状知识而是网状经验。
  • 大模型以词向量和 transformer 的模型学习海量知识，把知识作为向量空间中的关系网存储，接受输入时通过向量空间中的匹配进行输出。
  • 就像人脑阅读学习，记忆不是逐字逐句，而是按相关性、重要程度结合历史经验，比如记忆“红色”时会带有很多“feature”信息。

常见缩写和专业词汇解释：

  • LLM：Large language model 的缩写，即大语言模型。
  • Prompt：中文译作提示词，是输入给大模型的文本内容，其质量会影响回答质量。
  • Token：大模型语言体系中的最小单元，不同厂商对中文的切分方法不同，1Token 约等于 1 - 2 个汉字，收费和输入输出长度限制以 token 为单位。
  • 上下文：英文为 context，指对话聊天内容前、后的信息，其长度和窗口会影响回答质量。
内容由 AI 大模型生成，请仔细甄别（powered by aily）

参考资料

Ranger：【AI 大模型】非技术背景，一文读懂大模型（长文）

[title]Ranger：【AI大模型】非技术背景，一文读懂大模型（长文）[heading2]三、理解模型如何运作[heading3]1.LLm工作原理打个比方，“我今天吃了狮子头和蔬菜”这句话，在transformer中，会由attention层对这句话加入更多的信息来补充。比如补充“狮子头是一道菜”“今天是星期六”等等。这些补充信息，会作为输入给到下一个attention层进行补充。当然有些信息可能是不重要的，也会被忽视掉。最终层与层之间，哪些信息需要补充，哪些信息需要保留，哪些信息传递，均由模型自主学习完成。而最终学习的结果就是，模型可以把海量的数据以关系网的形式“消化”掉，并保留其重要的相关性。这些表述可能还不够直观，再打个比方，这些层就好像人在去阅读文章的时候的一个连贯性注意力的过程。就好像我们在去阅读理解一篇文章的时候，脑子里会对输入的内容进行消化然后吸收记忆，而记忆下来的不是点状的知识，而是网状的经验。3）再形象些的比喻llm的原理基本就是这样了，总结起来就是大模型以词向量和transformer的模型学习了海量的知识，把知识作为向量空间中的一种关系网进行存储，并在接受输入时，通过向量空间中的一系列匹配进行输出。这个过程其实大家想一想，是不是就像是人脑在阅读学习的个过程？比如我们在记忆一些资料时，其实记忆的也不可能是逐字逐句去记忆的，也是按照相关性，重要程度，再结合历史经验信息进行记忆的。记忆下来的东西，也不是一个个的文字，而更像是一种感觉，一种“意象”。再比如我们去看红色，会觉得这个代表温暖，代表强烈，这也是因为我们在去记忆这个信息时，同时受到来自生理、社会伦理等的关联记忆，所以一个简单的“红色”在我们的脑海中记忆时，也不仅是一个简单的词语，而是带有了很多的“feature”信息。

Ranger：【AI 大模型】非技术背景，一文读懂大模型（长文）

[title]Ranger：【AI大模型】非技术背景，一文读懂大模型（长文）[heading2]三、理解模型如何运作[heading3]1.LLm工作原理首先讲一下LLm，即large-language-model，大语言模型的工作原理。我们可以观察LLm大模型比如豆包在回复的时候，是不是一个一个字，行业里称之为流式输出的方式给你呈现内容的。为什么会这样呢？这是因为，大模型确实是在一个字一个字地去推理生成内容的。就好像我们看输入法的输入联想逻辑，输入联想，其实就是根据你输入的单个字，来推测你要输入的下个字是什么。比如我打了一个“输”字，那么我要打的下字就很有可能是“入”，当然这里就会有人问了，我要打的下个字也很有可能是“球”啊。没错，最开始的研究人员确实也识别到了这个问题。那么解法是什么呢？其实很简单，我们把上下文加入到输入里，不就能帮助模型理解下个字该是什么了吗。比如我们输入的是“我想在这个单元格中输”，那这下一个字大概率就是“入”。而我们如果输入的是“这场足球比赛中，输”，那下一个字大概率就是“球”。那么看到这里，善于思考的同学可能会发现这里存在第一，我们知道大模型的学习数据规模往往是海量的，每次的计算如果都带入全量的数据，算力上肯定是吃不消的。第二，仅去算字的概率，似乎也有问题。因为我们用于训练的文章数据等，往往是出于各种场景各种背景写就的。仅去算下个字出现的概率，容易会被各种不相干的信息干扰。是的，研究人员同样也遇到了这两个问题，而这时，两个概念的出现解决了这一难题。一个是词向量机制，一个是transformer模型中的attention自注意力机制。1）词向量机制

走入AI的世界

[title]走入AI的世界[heading2]3清楚原理：必须理解的核心概念和听得懂的底层原理[heading4]3.1必须理解的核心概念首先我们给出一些常见缩写和专业词汇的“人话”解释，它们十分基础，但理解他们至关重要。为了讨论更加聚焦，接下来的内容将主要围绕大语言模型为主进行展开（对于其他模态的大模型，我们暂且放放）：LLM：Large language model的缩写，即大语言模型，前面百团大战中的各类大模型，说的都是大语言模型（极其应用）Prompt：中文译作提示词，就是我们输入给大模型的文本内容，可以理解为你和大模型说的话，下达的指令。提示词的质量好坏，会显著影响大模型回答的质量，很多时候如果你觉得大模型回答的太差了，AI味儿太浓了，很可能是你的提示词写的不够好，换言之，不是AI不行，而是你不行😌Token：就像人类有着不同的语言，大模型也有着自己的语言体系，如图9，我们发送文本给大模型时，大模型会先把文本转换为他自己的语言，并推理生成答案，而后再翻译成我们看得懂的语言输出给我们。正如人类不同语言都有最小的字词单元（汉语的字/词，英语的字母/单词），大模型语言体系中的最小单元就称为Token。这种人类语言到大模型语言的翻译规则，也是人类定义的，以中文为例，由于不同厂商的大模型采用了不同的文本切分方法，因此一个Token对应的汉字数量也会有所不同，但在通常情况下，1Token≈1-2个汉字。请注意，大模型的收费计算方法，以及对输入输出长度的限制，都是以token为单位计量的。上下文：英文通常翻译为context，指对话聊天内容前、后的内容信息。使用时，上下文长度和上下文窗口都会影响AI大模型回答的质量。上下文长度限制了模型一次交互中能够处理的最大token数量，而上下文窗口限制了模型在生成每个新token时实际参考的前面内容的范围（关于这一点，你需要看完3.2中关于GPT的讨论，方能更好理解）

其他人在问
你好，什么事comfyui LLM party
ComfyUI LLM Party 相关内容如下： 作为 ComfyUI 插件的开发者，主要目的是讲解 LLM（大语言模型）与 ComfyUI 结合的基础、进阶和高阶用法，个人将 ComfyUI 中 LLM 应用粗略分为四大类：文本方面（提示词扩写、润色、对话）、图像视觉方面（图像提示词反推、OCR、LoRA 训练集图像打标）、LLM Agent（工具调用、长期/短期记忆、本地/API 大语言模型调用、封装 ComfyUI 工作流等）、其他独立于这些之外的 LLM 节点或功能。 对于 ComfyUI 和 ComfyUI LLM Party 的下载： 如果是 AI 绘图工作者，对 ComfyUI 不陌生。若未接触过，可在 GitHub 上拉取项目，或在 B 站下载整合包，如秋叶大佬的绘世整合包或者只剩一瓶辣椒酱的铁锅炖整合包。 ComfyUI LLM Party 是以 ComfyUI 作为前端的节点库，用于 LLM 智能体以及 LLM 工作流的无代码开发，功能类似于 coze、dify、flowise 等，与 ComfyUI 生态下的绝大部分节点相辅相成，有着无缝接入 SD 图像流的特色。可通过以下方法安装： 方法一：在中搜索 comfyui_LLM_party，一键安装，然后重启 comfyui。 方法二：导航到 ComfyUI 根文件夹中的 custom_nodes 子文件夹，使用克隆此存储库 git clone https://github.com/heshengtao/comfyui_LLM_party.git 。
2024-11-22
如何将传统知识库通过LLM能力转化成更智能与精细化的知识库？包括但不限于分段、QA问答和图片解析描述和总结
将传统知识库通过 LLM 能力转化为更智能和精细化的知识库是一个复杂但可行的过程，以下是一些关键步骤和方法： 1. 数据预处理：对传统知识库中的内容进行清理、格式化和标准化，确保数据的质量和一致性。 2. 内容分段：根据主题和逻辑结构，将长篇的知识内容合理分段，使信息更易于理解和处理。 3. 提取关键信息：从文本中提取重要的概念、实体和关系，为后续的问答和总结做准备。 4. 构建 QA 问答对：分析知识库中的内容，设计有针对性的问题和准确的答案，形成问答对，以方便用户快速获取所需信息。 5. 图片解析描述：对于包含图片的内容，使用图像识别技术提取关键元素，并进行详细的描述和解释。 6. 总结归纳：对分段后的内容进行总结，提炼核心要点，帮助用户快速了解主要内容。 在实施过程中，需要不断优化和调整方法，以确保转化后的知识库能够满足用户的需求，提供更高效和准确的服务。
2024-11-18
目前最强 llm
目前在大型语言模型（LLM）领域，Llama2 70B 可能是最强大的开源权重模型。它由 Meta.ai 发布，包含 700 亿个参数，模型的权重、架构和相关论文均已公开，在文件系统上表现为两个文件：一个包含参数的文件，以及一段运行这些参数的代码。参数文件大小约 104GB，采用 float 16 数据类型。 此外，GPT4V 是基于最先进的 LLM 并使用大量多模态数据训练的具有视觉能力的先进模型，在理解和处理不同输入模态的任意组合方面表现出色，支持多种输入和工作模式。 需要注意的是，尽管语言模型能力令人印象深刻，但仍存在一些限制，如生成的“幻觉”问题，在需要高级推理能力的任务上存在困难，还需要更具挑战性和强大的评估来衡量其真正的理解能力。
2024-11-15
有哪些工具直接可以调用国外的多个LLM
以下是一些关于能够调用国外多个 LLM 的相关信息： 开源项目作者 ailm 提出一种仅使用提示词工程和精巧的代码设计，让 LLM 获得稳定的 tool calling 能力，使用多个不具备该功能的 LLM 进行实验，成功率达 100%，工作基于 comfyui 开发，适合无代码基础的人员复现和修改。 在高级提示词工程领域，工具、连接器和技能的整合能显著增强 LLM 的能力。工具是指 LLM 可利用的外部功能或服务，扩展任务范围；连接器是 LLM 与外部工具或服务的接口，管理数据交换和通信；技能是 LLM 可执行的专门功能。 目前开源模型与专有产品存在差距但在缩小，如 Meta 的 LLaMa 模型引发一系列变体。当开源 LLM 达到一定准确度水平时，预计会有大量实验等。开发人员对 LLM 操作工具的研究尚不深入，一些工具如缓存（基于 Redis）、Weights & Biases、MLflow、PromptLayer、Helicone 等得到较广泛使用，还有新工具用于验证 LLM 输出或检测攻击。多数操作工具鼓励使用自身的 Python 客户端进行 LLM 调用。
2024-11-12
集成LLM的工具
以下是关于集成 LLM 的工具的相关内容： 一、“手臂和腿部”：赋予模型使用工具的能力 1. 从知识挖掘转向行动导向，增加模型使用工具的能力，有望在消费者和企业领域实现一系列用例。 对于消费者，LLMs 可能给出菜谱建议并订购食材，或推荐早午餐地点并预订餐桌。 在企业领域，创始人可接入 LLMs 使应用程序更易用，如在 Salesforce 等应用中，用户能用自然语言更新，模型自动更改，减少维护 CRM 所需时间。 2. LLM 虽对常见系统有复杂理解能力，但无法执行提取的信息。不过，公司在不断改善其使用工具的能力。 老牌公司如必应、谷歌和初创公司如 Perplexity、You.com 推出搜索 API。 AI21 Labs 推出 JurassicX，解决独立 LLMs 缺陷。 OpenAI 推出 ChatGPT 插件测试版，允许与多种工具交互，在 GPT3.5 和 GPT4 中引入函数调用，允许开发者将 GPT 能力与外部工具链接。 二、无需微调，仅用提示词工程就能让 LLM 获得 tool calling 的功能 1. 提示词工程主要由提示词注入和工具结果回传两部分代码组成。 2. 提示词注入用于将工具信息及使用工具的提示词添加到系统提示中，包含 TOOL_EAXMPLE、tools_instructions、REUTRN_FORMAT 三个部分。 TOOL_EAXMPLE 提示 LLM 如何理解和使用工具，编写时用无关紧要工具作示例避免混淆。 tools_instructions 是通用工具字典转换成 LLM 可读的工具列表，可动态调整。 REUTRN_FORMAT 定义调用 API 格式。 3. 工具结果回传阶段利用正则表达式抓取输出中的“tool”和“parameters”参数，对于 interpreter 工具使用另一种正则表达式提取 LLM 输出的代码，提高使用成功率。通过识别 LLM 返回的调用工具字典，提取对应值传入工具函数，将结果以 observation 角色返回给 LLM，对于不接受某些角色的 LLM 接口，可改为回传给 user 角色。通过以上提示词工程，可让无 tool calling 能力的 LLM 获得稳定的该能力。
2024-11-12
摘要总结作为 llm 训练的下游任务，一般的训练流程是怎样的
作为 LLM 训练的下游任务，一般的训练流程如下： 1. 首先从大量文本数据中训练出一个基础 LLM。 2. 随后使用指令和良好尝试的输入和输出来对基础 LLM 进行微调和优化。 3. 接着通常使用称为“人类反馈强化学习”的技术进行进一步细化，以使系统更能够有帮助且能够遵循指令。 在训练过程中，会涉及到一些相关的理论探讨和评价指标： 理论探讨方面，如在推理阶段对 InContext Learning 能力的运行分析，将其视为隐式微调，通过前向计算生成元梯度并通过注意力机制执行梯度下降，且实验表明 LLM 中的某些注意力头能执行与任务相关的操作。 评价指标方面，entropylike 指标（如 crossentropy 指标）常用于表征模型的收敛情况和测试集的简单评估（如 Perplexity 指标），但对于复杂的下游应用，还需更多指标，如正确性（Accuracy）、信息检索任务中的 NDCG@K 指标、摘要任务中的 ROUGE 指标、文本生成任务中的 BitsperByte 指标、不确定性中的 ECE 指标、鲁棒性（包括 invariance 和 equivariance）、公平性、偏见程度和有毒性等。
2024-11-07
transformer的原理
Transformer 模型是一种基于注意力机制的深度学习模型，由 Vaswani 等人在论文《Attention is All You Need》中提出，用于处理序列到序列的任务，如机器翻译、文本摘要等。其原理主要包括以下几个关键点： 1. 自注意力机制：能够同时考虑输入序列中所有位置的信息，而不是像循环神经网络或卷积神经网络一样逐个位置处理。通过自注意力机制，模型可以根据输入序列中不同位置的重要程度，动态地分配注意力权重，从而更好地捕捉序列中的关系和依赖。 2. 位置编码：由于自注意力机制不考虑输入序列的位置信息，为了使模型能够区分不同位置的词语，Transformer 模型引入了位置编码。位置编码是一种特殊的向量，与输入词向量相加，用于表示词语在序列中的位置信息。位置编码通常是基于正弦和余弦函数计算得到的固定向量，可以帮助模型学习到位置信息的表示。 3. 多头注意力机制：通过引入多头注意力机制，可以并行地学习多个注意力表示，从不同的子空间中学习不同的特征表示。每个注意力头都是通过将输入序列线性变换成查询、键和值向量，并计算注意力分数，然后将多个头的输出拼接在一起得到最终的注意力表示。 4. 残差连接和层归一化：在每个子层（SelfAttention 层和前馈神经网络层）的输入和输出之间都引入了残差连接，并对输出进行层归一化。残差连接可以缓解梯度消失和梯度爆炸问题，使得模型更容易训练和优化；层归一化可以加速训练过程，并提高模型的泛化能力。 5. 位置感知前馈网络：在每个注意力子层之后，Transformer 模型还包含了位置感知前馈网络，它是一个两层的全连接前馈神经网络，用于对注意力表示进行非线性转换和映射。位置感知前馈网络在每个位置独立地进行计算，提高了模型的并行性和计算效率。 通过以上关键点，Transformer 模型能够有效地捕捉输入序列中的长距离依赖关系，并在各种序列到序列的任务中取得了优异的性能。 请注意，以上内容由 AI 大模型生成，请仔细甄别。
2024-11-22
PIKA和pixverse的特效玩法，原理是什么
PIKA 推出了特效工具 PIKAFFECT，它能够提供崩塌、溶解、瘪掉、魔术等特效处理，有助于创意视频的制作。关于 Pixverse 的特效玩法原理，目前所提供的内容中未给出明确的相关信息。
2024-11-20
ai的工作原理是什么
AI 的工作原理通常包括以下几个方面： 1. 构建模型：以大型语言模型为例，通过输入大量的数据，如过去菜肴搭配的数据（类比）或文本数据，让计算机学习如何处理这些数据，不依赖于定性细节，形成类似“菜肴空间”（类比）的模型，根据共现频率等对数据进行分类。 2. 发现模式：训练模型依据从数据中学习到的模式，预测哪种元素（如菜肴或单词）最能补充特定的组合。对于文本 AI 工具，基本操作是“下一个单词预测”。 3. 应用于不同领域：如生成式 AI，通过大规模的数据集训练深度神经网络模型，学习各种数据的规律和特征，实现对输入数据的分析、理解和生成，可应用于自动写作、虚拟现实、音乐创作等领域。但在数据处理过程中存在潜在合规风险，如未经授权收集信息、提供虚假信息、侵害个人隐私等。 总之，AI 工作原理涉及简单的数学概念、大量的训练数据，以及找出数据中的模式以模拟机器的“思维”过程。
2024-11-20
能向我解释ChatGPT的基本原理吗
ChatGPT 的基本原理如下： 1. 数据获取：从网络、书籍等来源获取大量人类创作的文本样本。 2. 训练神经网络：通过训练神经网络生成“类似”的文本。神经网络由简单元素组成，操作基本是为每个新单词（或单词部分）生成“输入”，然后将其“通过其元素”。 3. 生成文本：能够从“提示”开始，然后继续生成“类似于训练内容”的文本。具体方式是把自己生成的下一个词，和之前的上文组合成新的上文，再生成下一个词，不断重复以生成任意长的下文，此过程称为自回归生成。 4. 训练目的：训练的主要目的不是记忆，而是学习以单字接龙的方式来训练模型，学习提问和回答的通用规律，以便在遇到没记忆过的提问时，能利用所学规律生成用户想要的回答，这种能力也叫做泛化。 5. 模型特点：ChatGPT 被称为生成模型，与搜索引擎不同，它可以创造不存在的文本。但它也存在缺点，可能混淆记忆，无法直接查看和更新所学，且高度依赖学习材料，导致缺乏及时性和准确性。 ChatGPT 中的 GPT 是 Generative PreTraining Transformer，即生成式预训练转换器。其本质功能是“单字接龙”，长文由单字接龙的回归所生成。 ChatGPT 的成功表明人类语言（以及背后的思维模式）的结构比我们想象的要简单和更具有“法律属性”。但它并不总是说出“全局意义上的话”或对应于正确的计算，只是根据训练材料中的“声音类似”的东西“说出”“听起来正确”的东西。 当我们人类生成语言时，许多方面的工作与 ChatGPT 似乎相当相似。但 ChatGPT 最终（至少在它可以使用外部工具之前），仅仅从它积累的“传统智慧统计数据”中提取了一些“连贯的文本线索”。
2024-11-14
什么是知识库，以及他的运作原理是什么，请用小白也能理解的语言进行说明
知识库可以用比较通俗的方式来理解： 想象一个大语言模型就像一个非常聪明、读过无数书的人，但对于一些特定的工作场景中的细节，比如见到老板娘过来吃饭要打三折，张梦飞过去吃饭要打骨折，它可能并不清楚。这时候，知识库就像是给这个聪明的人发的一本工作手册。 从更专业的角度来说，知识库的运作原理通常包括以下几个步骤： 1. 文档加载：从各种不同的来源，比如 PDF、SQL 数据、代码等加载相关的文档。 2. 文本分割：把加载的文档分割成指定大小的块，称为“文档块”或“文档片”。 3. 存储：这包括两个环节，一是将分割好的文档块进行嵌入，转换成向量的形式；二是将这些向量数据存储到向量数据库中。 4. 检索：当需要使用数据时，通过某种检索算法从向量数据库中找到与输入问题相似的嵌入片。 5. 输出：把问题以及检索出来的嵌入片一起提交给大语言模型，大语言模型会根据问题和检索出来的提示一起生成更合理的答案。 以车型数据为例，每个知识库的分段中保存了一种车型的基础数据。当用户问宝马 X3 的售价是多少时，就能匹配到对应车型的分段，然后从其中获取到售价信息。 海外官方文档：https://www.coze.com/docs/zh_cn/knowledge.html 国内官方文档：https://www.coze.cn/docs/guides/use_knowledge
2024-11-13
基于消费者均衡条件与边际效用递减原理推导出需求曲线向右下方倾斜、
消费者均衡条件是指在既定收入和价格下，消费者购买各种商品的数量组合使其获得最大效用。边际效用递减原理指在一定时间内，在其他商品的消费数量保持不变的条件下，随着消费者对某种商品消费量的增加，消费者从该商品连续增加的每一消费单位中所得到的效用增量即边际效用是递减的。 当消费者在消费过程中遵循消费者均衡条件时，由于边际效用递减，消费者为了获得相同的总效用，会在商品价格下降时增加对该商品的购买量，在商品价格上升时减少对该商品的购买量。 假设商品 X 的价格下降，根据边际效用递减原理，消费者在消费商品 X 时，每增加一单位商品 X 所带来的边际效用是递减的。但由于价格下降，使得每一单位货币能购买到更多的商品 X，从而使得消费者在购买商品 X 上获得的边际效用增加。为了达到新的消费者均衡，消费者会增加对商品 X 的购买量。 反之，当商品 X 的价格上升时，每一单位货币能购买到的商品 X 减少，消费者在购买商品 X 上获得的边际效用减少，为了达到新的消费者均衡，消费者会减少对商品 X 的购买量。 综上所述，随着商品价格的变化，消费者对商品的购买量呈现出反向变动的关系，从而推导出需求曲线向右下方倾斜。
2024-11-12