直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

大模型推理 prefill 是什么？

回答

在大模型推理中，Prefill 是一个阶段。在这个阶段，首先会把用户的输入 prompt 通过并行计算，产生每个 Token 对应 Self Attention 的 Key-Value，并将其存储在 KV Cache 中，供 Decoding 阶段产生每个 Token 时计算 Self Attention 时使用。这个阶段每个 Token 的 Key-Value 可并行计算，模型运行一次能输出多个 Token 的 KV，所以 GPU 利用率高。而 Decoding 阶段根据用户 Prompt 生成后续内容，但模型运行一次只能产生一个 Token，所以无法有效利用 GPU 的并行计算特长，资源利用率不足。资源利用率的差异导致了输出阶段成本高，这也是大模型一般输出价格是输入价格 3 到 4 倍的原因。

内容由 AI 大模型生成，请仔细甄别（powered by aily）

参考资料

张俊林：Reverse-o1: OpenAI o1原理逆向工程图解

这里插入一段，解释下为何大模型的输入价格和输出价格是不同的，这是因为在大模型推理（inference，相对模型训练来说的，不是指逻辑推理）阶段，分为Prefill和[Decoding](https://zhida.zhihu.com/search?content_id=248563321&content_type=Article&match_order=1&q=Decoding&zhida_source=entity)两个阶段(参考上图)。Prefill阶段首先把用户的输入[prompt](https://zhida.zhihu.com/search?content_id=248563321&content_type=Article&match_order=1&q=prompt&zhida_source=entity)通过并行计算，产生每个Token对应[Self Attention](https://zhida.zhihu.com/search?content_id=248563321&content_type=Article&match_order=1&q=Self+Attention&zhida_source=entity)的Key-Value，并存储在[KV Cache](https://zhida.zhihu.com/search?content_id=248563321&content_type=Article&match_order=1&q=KV+Cache&zhida_source=entity)中，供Decoding阶段产生每个Token时候计算Self Attention时候用，这个阶段每个Token的Key-Value可并行计算，模型运行一次能输出多个Token的KV，所以[GPU](https://zhida.zhihu.com/search?content_id=248563321&content_type=Article&match_order=1&q=GPU&zhida_source=entity)利用率高；而Decoding阶段根据用户Prompt生成后续内容，但模型运行一次只能产生一个Token，所以无法有效利用GPU的并行计算特长，资源利用率不足。资源利用率的差异导致了输出阶段成本高，这是为何大模型一般输出价格是输入价格3到4倍的原因。

大模型入门指南

通俗来讲，大模型就是输入大量语料，来让计算机获得类似人类的“思考”能力，使之能够理解自然语言，能够进行『文本生成』、『推理问答』、『对话』、『文档摘要』等工作。既然是学习，那我们就可以用『上学参加工作』这件事来类比大模型的训练、使用过程：1.找学校::训练LLM需要大量的计算，因此GPU更合适，因此只有购买得起大量GPU的贵族学校才有资本训练自己的大模型2.确定教材::大模型顾名思义就是大，需要的数据量特别多，几千亿序列（Token）的输入基本是标配3.找老师::即用什么样的算法讲述“书本”中的内容，让大模型能够更好理解Token之间的关系4.就业指导::学完书本中的知识后，为了让大模型能够更好胜任某一行业，需要进行微调（fine tuning）指导5.搬砖::就业指导完成后，下面就要正式干活了，比如进行一次翻译、问答等，在大模型里称之为推导（infer）在LLM中，Token([2])被视为模型处理和生成的文本单位。它们可以代表单个字符、单词、子单词，甚至更大的语言单位，具体取决于所使用的分词方法（Tokenization）。Token是原始文本数据与LLM可以使用的数字表示之间的桥梁。在将输入进行分词时，会对其进行数字化，形成一个词汇表（Vocabulary），比如：The cat sat on the mat，会被分割成“The”、“cat”、“sat”等的同时，会生成下面的词汇表：|Token|ID||-|-||The|345||cat|1256||sat|1726||…|…|

文章：Andrej Karpathy 亲授：大语言模型入门

所以我们真的想要一个助理模型。而获取这些辅助模型的方式基本上是通过以下过程。我们基本上保持优化相同。所以训练是一样的。这只是下一个单词预测任务，但我们将更换正在训练的数据集。所以我们过去一直在尝试对互联网文档进行训练。我们现在将其替换为我们手动收集的数据集。我们收集它们的方式是使用很多人。因此，通常公司会雇用人员，并向他们提供标签说明，并要求人们提出问题，然后为他们写下答案。因此，这是一个基本上可以将其纳入您的训练集的单个示例的示例。有一个用户说，你能写一个关于垄断一词在经济学中的相关性的简短介绍吗？然后是助理。再次，该人填写理想的响应应该是什么，理想的响应以及它是如何指定的以及它应该是什么样子。这一切都来自我们为OpenAI或Anthropic等公司的人员和工程师提供的标签文档，或者其他任何会提供这些标签文档的公司。现在，预训练阶段涉及大量文本，但质量可能较低，因为这些文本仅来自互联网，有数百TB，而且质量并不高。但在第二阶段，我们更看重质量而不是数量。所以我们的文档可能会少很多，例如100,000，但现在所有这些文档都是对话，它们应该是非常高质量的对话，从根本上讲，人们是根据标签说明创建它们的。

其他人在问
开源的开源的 LLM 微调推理，agent开发平台
以下是为您整理的关于开源的 LLM 微调推理、agent 开发平台的相关内容： LLM 作为 Agent 的“大脑”的特点： 1. 知识获取能力：通过预训练学习大量语言数据，掌握丰富语言信息和常识知识，能处理多种任务。 2. 指令理解：擅长解析人类语言指令，采用深度神经网络进行自然语言理解和生成，精准理解意图。 3. 泛化能力：在未见过的数据上表现良好，能利用先前知识处理新挑战，形成对语言结构的通用理解。 4. 推理和规划：能够进行逻辑推理和未来预测，分析条件制定最佳行动方案，在复杂环境中做出理性选择。 5. 交互能力：拥有强大对话能力，在多人多轮次对话中自然流畅交流，改善用户体验。 6. 自我改进：基于用户反馈和效果评估，通过调整参数、更新算法提升性能和准确性。 7. 可扩展性：可根据具体需求定制化适配，针对特定领域数据微调提高处理能力和专业化水平。 相关产品和平台： 1. ComfyUI：可在其中高效使用 LLM。 2. Vercel AI SDK 3.0：开源的工具，可将文本和图像提示转换为 React 用户界面，允许开发者创建丰富界面的聊天机器人。 3. OLMo7BInstruct：Allen AI 开源的微调模型，可通过资料了解从预训练模型到 RLHF 微调模型的所有信息并复刻微调过程。 4. Devv Agent：能提供更准确、详细的回答，底层基于 Multiagent 架构，根据需求采用不同 Agent 和语言模型。 实例探究： 1. ChemCrow：特定领域示例，通过 13 个专家设计的工具增强 LLM，完成有机合成、药物发现和材料设计等任务。 2. Boiko et al. 研究的 LLM 授权的科学发现 Agents：可处理复杂科学实验的自主设计、规划和执行，能使用多种工具。
2024-12-12
开源大模型训练推理，应用开发agent 平台
以下是一些关于开源大模型训练推理、应用开发 agent 平台的相关信息： Agent 构建平台： Coze：新一代一站式 AI Bot 开发平台，集成丰富插件工具，适用于构建各类问答 Bot。 Mircosoft 的 Copilot Studio：主要功能包括外挂数据、定义流程、调用 API 和操作，可将 Copilot 部署到多种渠道。 文心智能体：百度推出的基于文心大模型的智能体平台，支持开发者打造产品能力。 MindOS 的 Agent 平台：允许用户定义 Agent 的个性、动机、知识等，并访问第三方数据和服务或执行工作流。 斑头雁：2B 基于企业知识库构建专属 AI Agent 的平台，适用于客服、营销、销售等场景，提供多种成熟模板。 钉钉 AI 超级助理：依托钉钉优势，在处理高频工作场景如销售、客服、行程安排等方面表现出色。 Gemini 相关：大型语言模型的推理能力在构建通用 agents 方面有潜力，如 AlphaCode 团队构建的基于 Gemini 的 agent 在解决竞争性编程问题方面表现出色。同时，Gemini Nano 提升了效率，在设备上的任务中表现出色。 成为基于 Agent 的创造者的学习路径：未来的 AI 数字员工以大语言模型为大脑串联工具。Agent 工程如同传统软件工程学有迭代范式，包括梳理流程、任务工具化、建立规划、迭代优化。数字员工的“进化论”需要在 AI 能力基础上对固化流程和自主思考作出妥协和平衡。
2024-12-12
当前国内逻辑推理能力最强的大模型是什么
目前国内逻辑推理能力较强的大模型有以下几种： 1. Baichuan213BChat（百川智能）：是百川智能自主训练的开源大语言模型。在逻辑推理、知识百科、生成与创作、上下文对话等基础能力上排名 200 亿参数量级国内模型第一，其中逻辑推理能力超过 34B 参数量级的大模型，生成与创作能力超过 72B 参数量级的模型。可应用于小说/广告/公文写作等内容创作场景、智能客服/语音助手以及任务拆解规划等场景，还能部署在教育、医疗、金融等垂直行业中应用，同时可部署在低算力终端处理基础智能任务。 2. 智谱清言（清华&智谱 AI）：是智谱 AI 和清华大学推出的大模型产品，基础模型为 ChatGLM 大模型。在工具使用排名国内第一，在计算、逻辑推理、传统安全能力上排名国内前三。可应用于 AI 智能体方面相关的应用，包括任务规划、工具使用及一些长文本记忆相关的场景，在较复杂推理应用上的效果也不错，广告文案、文学写作方面也是很好的选择。 3. 文心一言 4.0API（百度）：在计算、逻辑推理、生成与创作、传统安全这 4 大基础能力上排名国内第一。另外在代码、知识与百科、语言理解与抽取、工具使用能力上排名国内前三。能力栈较为广泛，可应用于查询搜索知识应用、任务拆解规划 Agent、文案写作以及代码编写及纠错等方面，在科学研究、教育、工业方面的落地能力也值得关注。
2024-12-08
大模型推理 preview 是什么？
大模型推理 preview 通常指的是一种新的大模型功能或特性。以 OpenAI 的 o1preview 为例： 它引入了更高级的思维链（CoT）技术，能够让模型展现更完整的推理过程，从而更好、更稳健地推理出最终结果，增强了对越狱攻击等的抵御能力。 带来了自我反思与错误修正能力，这在教学场景等方面具有重要价值。 但也存在一些问题，如 CoT 技术目前并不十分成熟，出于安全考虑，OpenAI 隐藏了模型的思考过程；复杂问题的思考过程较长，速度偏慢；新模型的使用条数少，冷却时间长。 不过，随着推理模型准确率的不断攀升，其应用前景广阔，能覆盖更多行业和高精尖业务，为 AI 领域带来新的活力和希望。
2024-12-05
如何提高提示词的推理效率
以下是一些提高提示词推理效率的方法： 1. 运用抽象 prompt：抽象可以理解为概括，从具体事物中提取共同特征，压缩信息，减少上下文，提取话题核心点，避免输入大量无效信息，尤其适用于大段信息需要嵌入和检索时。 2. 采用演绎 prompt：演绎是从已知情况推导出新情况的思维方式，在提问中效果显著，要求大模型具备文章理解和问题处理能力，能推动长对话的多轮交互。 3. 利用反应 prompt：过长的思维链会导致回复缓慢，反应 prompt 能快速和直观地回应输入，适用于需要快速反馈、测评或咨询的情况，迅速响应在表达中发挥关键决策作用。 此外，提示词工程是优化大型语言模型性能的重要任务，目前推理任务对于大语言模型具有挑战性，需要更高级的提示词工程技术。例如，在涉及数学能力的推理任务中已有一些改进，通过示例给模型说明能获得更准确结果，后续章节还会介绍更多常见应用示例及更高级的提示工程概念和技术。 另外，有研究表明提示词工程需要复杂推理来检查模型错误、明确任务等，如“PROMPT ENGINEERING A PROMPT ENGINEER”的研究，介绍并分析了关键组成部分，最终方法在多个数据集和任务中表现出色，展示了其多功能性和出色的编辑、推理能力。 将这些 prompt 融入工作流中，能更高效地训练智能体，改进大语言模型，探索新应用领域，实现低成本、高效能和模型效益最大化。
2024-12-04
GPU 推理平台搭建
很抱歉，目前知识库中没有关于 GPU 推理平台搭建的相关内容。但一般来说，搭建 GPU 推理平台需要考虑以下几个关键步骤： 1. 硬件选择：根据您的需求和预算，选择合适的 GPU 型号和数量，同时要确保服务器或计算机的其他硬件能够支持 GPU 的高效运行。 2. 操作系统和驱动安装：选择适合的操作系统（如 Linux），并正确安装 GPU 驱动程序。 3. 深度学习框架配置：选择常用的深度学习框架（如 TensorFlow、PyTorch 等），并按照框架的要求进行配置和安装。 4. 模型优化：对要进行推理的模型进行优化，例如模型压缩、量化等，以提高推理效率。 5. 性能调优：通过调整参数、使用合适的算法等方式，对推理平台进行性能调优，以达到最佳的推理效果。 以上只是一个大致的步骤概述，实际搭建过程中可能会遇到各种具体的技术问题，需要根据您的具体情况进行分析和解决。
2024-08-13
推荐一个AI工具，帮助我每天自动执行以下步骤：从本地上传文件给大模型，该文件内含有新闻网页链接，大模型读取链接并汇总内容
以下为您推荐的 AI 工具可能有助于您实现每天自动执行从本地上传文件给大模型，并让大模型读取文件内新闻网页链接并汇总内容的需求： 1. AI 拍立得（Pailido）： 特点：即拍即得，简化流程，操作直观高效。 体验方式：微信小程序搜索“Pailido”。 交互逻辑：用户选择拍摄场景类型并拍照，AI 自动识别和分析照片内容信息，依据预设场景规则迅速生成符合情境的反馈。 实现场景： 图片转成文本：用户上传图片后，大模型根据选择的场景生成相关文字描述或解说文本，可用于生成美食点评、朋友圈发布文案、闲鱼上架示例模版等。 图片转绘图片：用户上传图片后，大模型按照指定风格快速生成图像的转绘版本，适应不同风格和场景需求，如图片粘土风、图片积木风、图片像素风等。 2. 内容仿写 AI 工具： 秘塔写作猫：https://xiezuocat.com/ ，是 AI 写作伴侣，能推敲用语、斟酌文法、改写文风，实时同步翻译，支持全文改写、一键修改、实时纠错并给出修改建议，智能分析文章属性并打分。 笔灵 AI 写作：https://ibiling.cn/ ，是智能写作助手，支持多种文体写作，如心得体会、公文写作、演讲稿、小说、论文等，支持一键改写/续写/扩写，智能锤炼打磨文字。 腾讯 Effidit 写作：https://effidit.qq.com/ ，由腾讯 AI Lab 开发的智能创作助手，能提升写作者的写作效率和创作体验。 更多 AI 写作类工具可以查看：https://www.waytoagi.com/sites/category/2 。请注意，内容由 AI 大模型生成，请仔细甄别。
2024-12-21
如何利用AGI创建3D打印的模型
利用 AGI 创建 3D 打印模型的方法如下： 1. 将孩子的画转换为 3D 模型： 使用 AutoDL 部署 Wonder3D：https://qa3dhma45mc.feishu.cn/wiki/Pzwvwibcpiki2YkXepaco8Tinzg （较难） 使用 AutoDL 部署 TripoSR：https://qa3dhma45mc.feishu.cn/wiki/Ax1IwzWG6iDNMEkkaW3cAFzInWe （小白一学就会） 具体实物（如鸟/玩偶/汽车）的 3D 转换效果最佳，wonder3D 能智能去除背景（若效果不佳，需手动扣除背景） 对于一些非现实类玩偶类作品，wonder3D 识别效果不佳时，可先使用 StableDiffusion 将平面图转换为伪 3D 效果图再生成模型。以 usagi 为例，先通过 SD 生成 3D 的 usagi，再将 usagi 输入 wonder3D。 2. 生成特定模型，如创建一个乐高 logo 的 STL 文件： 设计乐高 logo：使用矢量图形编辑软件（如 Adobe Illustrator 或 Inkscape）创建或获取矢量格式的乐高 logo，确保符合标准。 导入 3D 建模软件：将矢量 logo 导入到 3D 建模软件（如 Blender、Fusion 360 或 Tinkercad）中。 创建 3D 模型：在 3D 建模软件中根据矢量图形创建 3D 模型，调整尺寸和厚度以适合打印。 导出 STL 文件：将完成的 3D 模型导出为 STL 文件格式。 以下是在 Blender 中使用 Python 脚本创建简单 3D 文本作为乐高 logo 并导出为 STL 文件的步骤： 打开 Blender，切换到“脚本编辑器”界面。 输入脚本，点击“运行脚本”按钮，Blender 将创建 3D 文本对象并导出为 STL 文件。 检查生成的 STL 文件，可根据需要调整脚本中的参数（如字体、位置、挤压深度等）以获得满意的乐高 logo 3D 模型。 此外，还有一些其他动态： 阿里妈妈发布了：https://huggingface.co/alimamacreative/FLUX.1TurboAlpha ，演示图片质量损失小，比 FLUX schell 本身好很多。 拓竹旗下 3D 打印社区 Make World 发布 AI：https://bambulab.com/zh/signin ，3D 生成模型找到落地和变现路径。 上海国投公司搞了一个：https://www.ithome.com/0/801/764.htm ，基金规模 100 亿元，首期 30 亿元，并与稀宇科技（MiniMax）、阶跃星辰签署战略合作协议。 智谱的：https://kimi.moonshot.cn/ 都推出基于深度思考 COT 的 AI 搜索。 字节跳动发布：https://mp.weixin.qq.com/s/GwhoQ2JCMQwtLN6rsrJQw ，支持随时唤起豆包交流和辅助。 ：https://x.com/krea_ai/status/1844369566237184198 ，集成了海螺、Luma、Runway 和可灵四家最好的视频生成模型。 ：https://klingai.kuaishou.com/ ，现在可以直接输入文本指定对应声音朗读，然后再对口型。
2024-12-20
如何通过提示词提高模型数据对比和筛选能力
以下是一些通过提示词提高模型数据对比和筛选能力的方法： 1. 选择自定义提示词或预定义话题，在网站上使用如 Llama3.1 8B Instruct 模型时，输入对话内容等待内容生成，若右边分析未刷新可在相关按钮间切换。由于归因聚类使用大模型，需稍作等待，最终结果可能因模型使用的温度等因素而不同。 2. 在写提示词时不能依赖直觉和偷懒，要实话实说，补充详细信息以避免模型在边缘情况上犯错，这样也能提高数据质量。 3. 在分类问题中，提示中的每个输入应分类到预定义类别之一。在提示末尾使用分隔符如“\n\n\n\n”，选择映射到单个 token 的类，推理时指定 max_tokens=1，确保提示加完成不超过 2048 个 token，每班至少有 100 个例子，可指定 logprobs=5 获得类日志概率，用于微调的数据集应在结构和任务类型上与模型使用的数据集相似。例如在确保网站广告文字正确的案例中，可微调分类器，使用合适的分隔符和模型。
2024-12-20
通过提示词可以提高模型的数学计算能力吗
通过提示词可以在一定程度上提高模型的数学计算能力。例如 PoT 技术，它是思维链技术的衍生，适用于数值推理任务，会引导模型生成一系列代码，再通过代码解释器工具进行运算，这种方式能显著提升模型在数学问题求解上的表现。PoT 作为 CoT 的衍生技术，遵循零样本和少样本的学习范式，零样本 PoT 与 CoT 方法相似，不需要大量样本即可进行有效推理，少样本 PoT 也通过较少样本优化模型表现。但需要注意的是，大模型在解决数学问题时可能存在不够可靠的情况。
2024-12-20
哪一个开源大语言模型对中文支持比较好？
以下是一些对中文支持较好的开源大语言模型： 1. OpenChineseLLaMA： 地址： 简介：基于 LLaMA7B 经过中文数据集增量预训练产生的中文大语言模型基座，对比原版 LLaMA，该模型在中文理解能力和生成能力方面均获得较大提升，在众多下游任务中均取得了突出的成绩。 2. BELLE： 地址： 简介：开源了基于 BLOOMZ 和 LLaMA 优化后的一系列模型，同时包括训练数据、相关模型、训练代码、应用场景等，也会持续评估不同训练数据、训练算法等对模型表现的影响。 3. Panda： 地址： 简介：开源了基于 LLaMA7B,13B,33B,65B 进行中文领域上的持续预训练的语言模型,使用了接近 15M 条数据进行二次预训练。 4. Llama2Chinese13bChat： 地址： 5. Gemma7bit： 地址： 此外，AndesGPT 在语言理解与抽取、角色扮演能力上排名国内前一，在代码、生成与创作、上下文对话能力上排名国内前三，各项能力较为均衡，聚焦在移动设备端的应用。Baichuan213BChat 是百川智能自主训练的开源大语言模型，是中文开源模型的主导力量。
2024-12-20
说明jetson orin nano可以使用什么模型？Grok-1模型可以吗？
目前没有关于 Jetson Orin Nano 是否可以使用 Grok1 模型的明确信息。但一般来说，Jetson Orin Nano 可以支持多种常见的深度学习模型，如基于 TensorFlow、PyTorch 框架开发的模型等。具体能够使用哪些模型，还需要考虑模型的计算需求、内存占用以及 Jetson Orin Nano 的硬件配置和性能限制等因素。
2024-12-20