Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

大模型推理 prefill 是什么？

Answer

在大模型推理中，Prefill 是一个阶段。在这个阶段，首先会把用户的输入 prompt 通过并行计算，产生每个 Token 对应 Self Attention 的 Key-Value，并将其存储在 KV Cache 中，供 Decoding 阶段产生每个 Token 时计算 Self Attention 时使用。这个阶段每个 Token 的 Key-Value 可并行计算，模型运行一次能输出多个 Token 的 KV，所以 GPU 利用率高。而 Decoding 阶段根据用户 Prompt 生成后续内容，但模型运行一次只能产生一个 Token，所以无法有效利用 GPU 的并行计算特长，资源利用率不足。资源利用率的差异导致了输出阶段成本高，这也是大模型一般输出价格是输入价格 3 到 4 倍的原因。

Content generated by AI large model, please carefully verify (powered by aily)

References

张俊林：Reverse-o1: OpenAI o1原理逆向工程图解

这里插入一段，解释下为何大模型的输入价格和输出价格是不同的，这是因为在大模型推理（inference，相对模型训练来说的，不是指逻辑推理）阶段，分为Prefill和[Decoding](https://zhida.zhihu.com/search?content_id=248563321&content_type=Article&match_order=1&q=Decoding&zhida_source=entity)两个阶段(参考上图)。Prefill阶段首先把用户的输入[prompt](https://zhida.zhihu.com/search?content_id=248563321&content_type=Article&match_order=1&q=prompt&zhida_source=entity)通过并行计算，产生每个Token对应[Self Attention](https://zhida.zhihu.com/search?content_id=248563321&content_type=Article&match_order=1&q=Self+Attention&zhida_source=entity)的Key-Value，并存储在[KV Cache](https://zhida.zhihu.com/search?content_id=248563321&content_type=Article&match_order=1&q=KV+Cache&zhida_source=entity)中，供Decoding阶段产生每个Token时候计算Self Attention时候用，这个阶段每个Token的Key-Value可并行计算，模型运行一次能输出多个Token的KV，所以[GPU](https://zhida.zhihu.com/search?content_id=248563321&content_type=Article&match_order=1&q=GPU&zhida_source=entity)利用率高；而Decoding阶段根据用户Prompt生成后续内容，但模型运行一次只能产生一个Token，所以无法有效利用GPU的并行计算特长，资源利用率不足。资源利用率的差异导致了输出阶段成本高，这是为何大模型一般输出价格是输入价格3到4倍的原因。

大模型入门指南

通俗来讲，大模型就是输入大量语料，来让计算机获得类似人类的“思考”能力，使之能够理解自然语言，能够进行『文本生成』、『推理问答』、『对话』、『文档摘要』等工作。既然是学习，那我们就可以用『上学参加工作』这件事来类比大模型的训练、使用过程：1.找学校::训练LLM需要大量的计算，因此GPU更合适，因此只有购买得起大量GPU的贵族学校才有资本训练自己的大模型2.确定教材::大模型顾名思义就是大，需要的数据量特别多，几千亿序列（Token）的输入基本是标配3.找老师::即用什么样的算法讲述“书本”中的内容，让大模型能够更好理解Token之间的关系4.就业指导::学完书本中的知识后，为了让大模型能够更好胜任某一行业，需要进行微调（fine tuning）指导5.搬砖::就业指导完成后，下面就要正式干活了，比如进行一次翻译、问答等，在大模型里称之为推导（infer）在LLM中，Token([2])被视为模型处理和生成的文本单位。它们可以代表单个字符、单词、子单词，甚至更大的语言单位，具体取决于所使用的分词方法（Tokenization）。Token是原始文本数据与LLM可以使用的数字表示之间的桥梁。在将输入进行分词时，会对其进行数字化，形成一个词汇表（Vocabulary），比如：The cat sat on the mat，会被分割成“The”、“cat”、“sat”等的同时，会生成下面的词汇表：|Token|ID||-|-||The|345||cat|1256||sat|1726||…|…|

文章：Andrej Karpathy 亲授：大语言模型入门

所以我们真的想要一个助理模型。而获取这些辅助模型的方式基本上是通过以下过程。我们基本上保持优化相同。所以训练是一样的。这只是下一个单词预测任务，但我们将更换正在训练的数据集。所以我们过去一直在尝试对互联网文档进行训练。我们现在将其替换为我们手动收集的数据集。我们收集它们的方式是使用很多人。因此，通常公司会雇用人员，并向他们提供标签说明，并要求人们提出问题，然后为他们写下答案。因此，这是一个基本上可以将其纳入您的训练集的单个示例的示例。有一个用户说，你能写一个关于垄断一词在经济学中的相关性的简短介绍吗？然后是助理。再次，该人填写理想的响应应该是什么，理想的响应以及它是如何指定的以及它应该是什么样子。这一切都来自我们为OpenAI或Anthropic等公司的人员和工程师提供的标签文档，或者其他任何会提供这些标签文档的公司。现在，预训练阶段涉及大量文本，但质量可能较低，因为这些文本仅来自互联网，有数百TB，而且质量并不高。但在第二阶段，我们更看重质量而不是数量。所以我们的文档可能会少很多，例如100,000，但现在所有这些文档都是对话，它们应该是非常高质量的对话，从根本上讲，人们是根据标签说明创建它们的。

Others are asking
开源的开源的 LLM 微调推理，agent开发平台
以下是为您整理的关于开源的 LLM 微调推理、agent 开发平台的相关内容： LLM 作为 Agent 的“大脑”的特点： 1. 知识获取能力：通过预训练学习大量语言数据，掌握丰富语言信息和常识知识，能处理多种任务。 2. 指令理解：擅长解析人类语言指令，采用深度神经网络进行自然语言理解和生成，精准理解意图。 3. 泛化能力：在未见过的数据上表现良好，能利用先前知识处理新挑战，形成对语言结构的通用理解。 4. 推理和规划：能够进行逻辑推理和未来预测，分析条件制定最佳行动方案，在复杂环境中做出理性选择。 5. 交互能力：拥有强大对话能力，在多人多轮次对话中自然流畅交流，改善用户体验。 6. 自我改进：基于用户反馈和效果评估，通过调整参数、更新算法提升性能和准确性。 7. 可扩展性：可根据具体需求定制化适配，针对特定领域数据微调提高处理能力和专业化水平。 相关产品和平台： 1. ComfyUI：可在其中高效使用 LLM。 2. Vercel AI SDK 3.0：开源的工具，可将文本和图像提示转换为 React 用户界面，允许开发者创建丰富界面的聊天机器人。 3. OLMo7BInstruct：Allen AI 开源的微调模型，可通过资料了解从预训练模型到 RLHF 微调模型的所有信息并复刻微调过程。 4. Devv Agent：能提供更准确、详细的回答，底层基于 Multiagent 架构，根据需求采用不同 Agent 和语言模型。 实例探究： 1. ChemCrow：特定领域示例，通过 13 个专家设计的工具增强 LLM，完成有机合成、药物发现和材料设计等任务。 2. Boiko et al. 研究的 LLM 授权的科学发现 Agents：可处理复杂科学实验的自主设计、规划和执行，能使用多种工具。
2024-12-12
开源大模型训练推理，应用开发agent 平台
以下是一些关于开源大模型训练推理、应用开发 agent 平台的相关信息： Agent 构建平台： Coze：新一代一站式 AI Bot 开发平台，集成丰富插件工具，适用于构建各类问答 Bot。 Mircosoft 的 Copilot Studio：主要功能包括外挂数据、定义流程、调用 API 和操作，可将 Copilot 部署到多种渠道。 文心智能体：百度推出的基于文心大模型的智能体平台，支持开发者打造产品能力。 MindOS 的 Agent 平台：允许用户定义 Agent 的个性、动机、知识等，并访问第三方数据和服务或执行工作流。 斑头雁：2B 基于企业知识库构建专属 AI Agent 的平台，适用于客服、营销、销售等场景，提供多种成熟模板。 钉钉 AI 超级助理：依托钉钉优势，在处理高频工作场景如销售、客服、行程安排等方面表现出色。 Gemini 相关：大型语言模型的推理能力在构建通用 agents 方面有潜力，如 AlphaCode 团队构建的基于 Gemini 的 agent 在解决竞争性编程问题方面表现出色。同时，Gemini Nano 提升了效率，在设备上的任务中表现出色。 成为基于 Agent 的创造者的学习路径：未来的 AI 数字员工以大语言模型为大脑串联工具。Agent 工程如同传统软件工程学有迭代范式，包括梳理流程、任务工具化、建立规划、迭代优化。数字员工的“进化论”需要在 AI 能力基础上对固化流程和自主思考作出妥协和平衡。
2024-12-12
当前国内逻辑推理能力最强的大模型是什么
目前国内逻辑推理能力较强的大模型有以下几种： 1. Baichuan213BChat（百川智能）：是百川智能自主训练的开源大语言模型。在逻辑推理、知识百科、生成与创作、上下文对话等基础能力上排名 200 亿参数量级国内模型第一，其中逻辑推理能力超过 34B 参数量级的大模型，生成与创作能力超过 72B 参数量级的模型。可应用于小说/广告/公文写作等内容创作场景、智能客服/语音助手以及任务拆解规划等场景，还能部署在教育、医疗、金融等垂直行业中应用，同时可部署在低算力终端处理基础智能任务。 2. 智谱清言（清华&智谱 AI）：是智谱 AI 和清华大学推出的大模型产品，基础模型为 ChatGLM 大模型。在工具使用排名国内第一，在计算、逻辑推理、传统安全能力上排名国内前三。可应用于 AI 智能体方面相关的应用，包括任务规划、工具使用及一些长文本记忆相关的场景，在较复杂推理应用上的效果也不错，广告文案、文学写作方面也是很好的选择。 3. 文心一言 4.0API（百度）：在计算、逻辑推理、生成与创作、传统安全这 4 大基础能力上排名国内第一。另外在代码、知识与百科、语言理解与抽取、工具使用能力上排名国内前三。能力栈较为广泛，可应用于查询搜索知识应用、任务拆解规划 Agent、文案写作以及代码编写及纠错等方面，在科学研究、教育、工业方面的落地能力也值得关注。
2024-12-08
大模型推理 preview 是什么？
大模型推理 preview 通常指的是一种新的大模型功能或特性。以 OpenAI 的 o1preview 为例： 它引入了更高级的思维链（CoT）技术，能够让模型展现更完整的推理过程，从而更好、更稳健地推理出最终结果，增强了对越狱攻击等的抵御能力。 带来了自我反思与错误修正能力，这在教学场景等方面具有重要价值。 但也存在一些问题，如 CoT 技术目前并不十分成熟，出于安全考虑，OpenAI 隐藏了模型的思考过程；复杂问题的思考过程较长，速度偏慢；新模型的使用条数少，冷却时间长。 不过，随着推理模型准确率的不断攀升，其应用前景广阔，能覆盖更多行业和高精尖业务，为 AI 领域带来新的活力和希望。
2024-12-05
如何提高提示词的推理效率
以下是一些提高提示词推理效率的方法： 1. 运用抽象 prompt：抽象可以理解为概括，从具体事物中提取共同特征，压缩信息，减少上下文，提取话题核心点，避免输入大量无效信息，尤其适用于大段信息需要嵌入和检索时。 2. 采用演绎 prompt：演绎是从已知情况推导出新情况的思维方式，在提问中效果显著，要求大模型具备文章理解和问题处理能力，能推动长对话的多轮交互。 3. 利用反应 prompt：过长的思维链会导致回复缓慢，反应 prompt 能快速和直观地回应输入，适用于需要快速反馈、测评或咨询的情况，迅速响应在表达中发挥关键决策作用。 此外，提示词工程是优化大型语言模型性能的重要任务，目前推理任务对于大语言模型具有挑战性，需要更高级的提示词工程技术。例如，在涉及数学能力的推理任务中已有一些改进，通过示例给模型说明能获得更准确结果，后续章节还会介绍更多常见应用示例及更高级的提示工程概念和技术。 另外，有研究表明提示词工程需要复杂推理来检查模型错误、明确任务等，如“PROMPT ENGINEERING A PROMPT ENGINEER”的研究，介绍并分析了关键组成部分，最终方法在多个数据集和任务中表现出色，展示了其多功能性和出色的编辑、推理能力。 将这些 prompt 融入工作流中，能更高效地训练智能体，改进大语言模型，探索新应用领域，实现低成本、高效能和模型效益最大化。
2024-12-04
GPU 推理平台搭建
很抱歉，目前知识库中没有关于 GPU 推理平台搭建的相关内容。但一般来说，搭建 GPU 推理平台需要考虑以下几个关键步骤： 1. 硬件选择：根据您的需求和预算，选择合适的 GPU 型号和数量，同时要确保服务器或计算机的其他硬件能够支持 GPU 的高效运行。 2. 操作系统和驱动安装：选择适合的操作系统（如 Linux），并正确安装 GPU 驱动程序。 3. 深度学习框架配置：选择常用的深度学习框架（如 TensorFlow、PyTorch 等），并按照框架的要求进行配置和安装。 4. 模型优化：对要进行推理的模型进行优化，例如模型压缩、量化等，以提高推理效率。 5. 性能调优：通过调整参数、使用合适的算法等方式，对推理平台进行性能调优，以达到最佳的推理效果。 以上只是一个大致的步骤概述，实际搭建过程中可能会遇到各种具体的技术问题，需要根据您的具体情况进行分析和解决。
2024-08-13
有哪些开源或免费的AI模型管理平台，可以配置模型，管理Agent的
以下是一些开源或免费的 AI 模型管理平台及相关模型： 1. 智谱·AI： Chat 模型： ChatGLM6Bint4：ChatGLM6B 的 Int4 版本，最低只需 6GB 显存即可部署，最低只需 7GB 显存即可启动微调（、魔搭社区、始智社区、启智社区获取。 ChatGLM6Bint8：ChatGLM6B 的 Int8 版本，上下文 token 数为 2K。可在、魔搭社区、始智社区、启智社区获取。 AgentLM7B：提出了一种 AgentTuning 的方法，开源了包含 1866 个高质量交互、6 个多样化的真实场景任务的 Agent 数据集 AgentInstruct，基于上述方法和数据集，利用 Llama2 微调而成，上下文 token 数为 4K。代码链接为。 AgentLM13B：上下文 token 数为 4K，模型权重下载链接为。 AgentLM70B：上下文 token 数为 8K，模型权重下载链接为。 下载模型：智谱 AI 提供的所有开源模型均可以在以下平台进行下载：。 2. 通义千问： 本地部署 Qwen2.51M 模型：使用以下命令启动服务，根据硬件配置进行设置。参数说明： tensorparallelsize：设置为使用的 GPU 数量。7B 模型最多支持 4 个 GPU，14B 模型最多支持 8 个 GPU。 maxmodellen：定义最大输入序列长度。如果遇到内存不足问题，请减少此值。 maxnumbatchedtokens：设置 Chunked Prefill 的块大小。较小的值可以减少激活内存使用，但可能会减慢推理速度。推荐值为 131072，以获得最佳性能。 maxnumseqs：限制并发处理的序列数量。如果遇到问题，请参考相关内容。 与模型交互：可以使用以下方法与部署的模型进行交互：选项 1.使用 Curl；选项 2.使用 Python。对于更高级的使用方式，可以探索如之类的框架。QwenAgent 使模型能够读取 PDF 文件或获得更多功能。
2025-02-06
视频理解大模型技术
以下是关于视频理解大模型技术的相关知识： 1. 概念：生成式 AI 生成的内容称为 AIGC。 2. 概念与关系： AI 即人工智能。 机器学习是电脑找规律学习，包括监督学习、无监督学习、强化学习。 监督学习使用有标签的训练数据，目标是学习输入和输出之间的映射关系，包括分类和回归。 无监督学习的数据没有标签，算法自主发现规律，经典任务如聚类。 强化学习从反馈里学习，最大化奖励或最小化损失，类似训小狗。 深度学习是一种参照人脑有神经网络和神经元的方法（因层数多称为深度），神经网络可用于监督学习、无监督学习、强化学习。 生成式 AI 可以生成文本、图片、音频、视频等内容形式。 LLM 是大语言模型，对于生成式 AI，生成图像的扩散模型不是大语言模型；对于大语言模型，生成只是其中一个处理任务，如谷歌的 BERT 模型可用于语义理解（不擅长文本生成），像上下文理解、情感分析、文本分类。 3. 技术里程碑：2017 年 6 月，谷歌团队发表论文《Attention is All You Need》，首次提出 Transformer 模型，它完全基于自注意力机制（SelfAttention）处理序列数据，无需依赖循环神经网络（RNN）或卷积神经网络（CNN），Transformer 比 RNN 更适合处理文本的长距离依赖性。
2025-02-06
大语言模型
大语言模型相关知识如下： Encoder：在大型语言模型中，Encoder 是模型的编码器部分，负责对输入的文本序列进行编码，获取其对应的语义表示。具有词嵌入、位置编码、注意力机制、层叠编码、上下文建模等关键作用。其输出是输入序列对应的上下文化语义表示，会被模型的 Decoder 部分利用。 介绍：大型语言模型是深度学习的一个子集，可以预训练并进行特定目的的微调。能解决诸如文本分类、问题回答、文档摘要、跨行业的文本生成等常见语言问题，还可利用相对较小的领域数据集进行定制以解决不同领域的特定问题。其三个主要特征是大型（训练数据集规模和参数数量大）、通用性（能解决常见问题）、预训练微调（用大型数据集预训练，用较小数据集微调）。使用大型语言模型有多种好处，视频中还提到了自然语言处理中的提示设计和提示工程，以及三种类型的大型语言模型。 性能对比：对比不同大型语言模型的性能需考虑多个维度，如理解能力、生成质量、知识广度和深度、泛化能力、鲁棒性、偏见和伦理、交互性和适应性、计算效率和资源消耗、易用性和集成性等。可采用标准基准测试、自定义任务、人类评估、A/B 测试、性能指标等方法进行有效的比较。
2025-02-06
推荐可以生成3D模型的ai软件
以下是一些可以生成 3D 模型的 AI 软件： 1. CADtools 12：这是 Adobe Illustrator 的插件，为其添加了 92 个绘图和编辑工具，包括图形绘制、编辑、标注、尺寸标注、转换、创建和实用工具。 2. Autodesk Fusion 360：Autodesk 开发的云端 3D CAD/CAM 软件，集成了 AI 功能，能创建复杂几何形状和优化设计。 3. nTopology：基于 AI 的设计软件，可创建复杂 CAD 模型，包括拓扑优化、几何复杂度和轻量化设计等。 4. ParaMatters CogniCAD：基于 AI 的 CAD 软件，能根据用户输入的设计目标和约束条件自动生成 3D 模型，适用于拓扑优化、结构设计和材料分布等领域。 5. 主流 CAD 软件中的生成设计工具：如 Autodesk 系列、SolidWorks 等，提供基于 AI 的生成设计工具，可根据输入的设计目标和约束条件自动产生多种设计方案。 对于图片生成 3D 建模的工具： 1. Tripo AI：VAST 发布的在线 3D 建模平台，能利用文本或图像在几秒钟内生成高质量且可立即使用的 3D 模型。 2. Meshy：功能全面，支持文本生成 3D、图片生成 3D 以及 AI 材质生成。 3. CSM AI：支持从视频和图像创建 3D 模型，适用于游戏领域的模型生成。 4. Sudo AI：支持通过文本和图像生成 3D 模型，特别适用于游戏领域。 5. VoxCraft：免费 3D 模型生成工具，能将图像或文本快速转换成 3D 模型，并提供多种功能。 此外，还有一些从文本生成 3D 的工具： 1. CSM_ai：能将文本、图像或草图转换为 3D 素材，可直接应用于游戏中，无需后期处理。体验地址：https://cube.csm.ai 2. Move AI 推出的 Move API：从 2D 视频生成 3D 运动数据，支持多种 3D 文件格式导出，为 AR 应用、游戏开发等提供高质量 3D 运动数据。网址：https://move.ai/api 3. ComfyUI 3D Pack：快速将图片转换为 3D 模型，支持多角度查看，使用 3D 高斯扩散技术提升模型质量，支持多种格式导出，集成先进 3D 处理算法。网址：https://github.com/MrForExample/ComfyUI3DPack/tree/main 4. Medivis 的 SurgicalAR 手术应用：将 2D 医疗图像转化为 3D 互动视觉，提高手术精度，支持 3D 模型的放大、缩小、旋转，精确手术计划。网址：https://t.co/3tUvxB0L4I
2025-02-06
我想利用现有的20万条政务相关数据，基于qwen2.5 70B大模型构建自己的政务服务大模型，该如何做，请给出具体实现流程，谢谢！
以下是基于 qwen2.5 70B 大模型利用 20 万条政务相关数据构建政务服务大模型的大致流程： 1. 数据准备：对 20 万条政务相关数据进行清洗、预处理和标注，使其适合模型学习。 2. 模型选择与下载：选择 qwen2.5 70B 大模型，并按照相关说明进行下载。 3. 本地部署： 启动 OpenAI 兼容的 API 服务，根据硬件配置设置相关参数，如 tensorparallelsize（设置使用的 GPU 数量）、maxmodellen（定义最大输入序列长度）、maxnumbatchedtokens（设置 Chunked Prefill 的块大小）、maxnumseqs（限制并发处理的序列数量）。 遇到问题可参考相关内容。 4. 与模型交互：可以使用 Curl 或 Python 等方法与部署的模型进行交互，对于更高级的使用方式，可以探索如之类的框架。 5. 模型训练：模型训练是一个复杂且计算量极大的过程，需要大量的计算资源和时间。 需要注意的是，构建大模型是一个复杂的任务，需要具备一定的技术知识和经验。在实际操作中，可能会遇到各种问题，需要不断调试和优化。
2025-02-06
模型测评
以下是关于模型测评的相关内容： Llama2 模型评测：为了解其中文问答能力，筛选了具有代表性的中文问题进行提问，测试了 Meta 公开的 Llama27BChat 和 Llama213BChat 两个版本，未做任何微调和训练。测试问题涵盖通用知识、语言理解等八个类别，使用特定 Prompt 进行测试，测试结果见相应文档。发现该模型对于中文问答的对齐效果一般，基于中文数据的训练和微调十分必要。 小七姐：文心一言 4.0、智谱清言、KimiChat 小样本测评：测评机制包括以同组提示词下 ChatGPT 4.0 生成的内容做对标参照，能力考量涵盖复杂提示词理解和执行、推理能力、文本生成能力、提示词设计能力、长文本归纳总结能力，测评轮次包括复杂提示词理解和执行、推理能力、文本生成能力、提示词设计能力、长文本归纳总结能力，每轮次均有不同的任务和模型测试次数。 斯坦福发布大模型排行榜 AlpacaEval：相对于人工标注，全自动化的 AlpacaEval 经济成本和时间成本低。从统计角度探讨了区分模型的评估数据，AlpacaEval 支持两种模式的模型评估方式，评测过程分为选择评估集并计算输出、计算 golden 输出、选择自动标注器并计算胜率三步。
2025-02-06