你在设计大模型语音座舱功能，怎么设计上下文多轮对话的场景，比如否定、指代、延展等

指代消解是在多轮对话中需要解决的问题。在自然的人类语言交流中，多轮对话常出现使用代词如“它”“他们”“我们”等的指代情况。若仅依据用户原始提问检索知识片段，可能导致结果不精确或无法检索到信息，且对模型回复内容的限制可能影响多轮对话流畅性甚至中断。为提升对话系统性能和用户体验，需开发提示词来解决此问题，确保模型在连续交流中提供准确连贯回答。 由于指代消解需多轮对话完成，单次交互无法达成，所以要转换测试形式，先解决指代消解问题再进行下一轮答复。首先准备所需提示词，这里的提示词是用 CoT 写出的思维链，列举不同推理情景，让模型推理出需消解的代词并重新组织问题。 接着复现代指消解步骤： 1. 进行第一轮对话，如提出“尼罗河是什么？”，系统召回相关知识片段并回复。 2. 开始指代消解。 3. 使用指代消解后的问题进行提问，如“尼罗河对埃及的贡献是什么？”，系统准确召回知识片段并答复。 客观来说，指代消解是利用 RAG 架构构建智能问答系统的关键挑战之一，尤其在多轮对话场景中突出。目前用 Prompt 方法解决，要求模型先解析推理问题再回复，增加了计算资源消耗和系统响应延迟，处理时需权衡推理负荷、Token 消耗和问答准确性等因素，根据应用环境和需求做出合理选择和策略。

对于目前做设计工作的人员，可以通过以下方式利用 AI 赋能： 1. 建立针对性的 AI 工作流：构建有效的设计工作流，提高工作效率。 2. 进行实用的模型训练：例如使用 lora 模型训练方式，生成特定形象及 KV 风格，建立包含品牌形象、风格视觉 DNA 的模型，并根据实用场景进行分类。同时，根据市场环境和消费者偏好的变化迅速调整模型，使营销内容更符合目标用户喜好。 3. 储备 AI 设计资产：包括建立和管理 AI 设计资产，沉淀相关知识、技能、工具，促进团队内部的知识积累和提升。团队成员分享设计经验和学习心得，利用参数库快速启动新项目，确保设计准确性并减少重复工作，借助工具、模版、元素提高设计效率和质量。 4. 利用 AI 整合工具平台：如“桃花源|淘宝设计 AIGC”，引入实用功能，增强设计工作的专业性和效率。 随着二次元绘画 AI 的发展和优化，对二次元设计行业影响显著： 1. 降低设计成本和提高效率，更多公司和个人能轻松创作高质量作品。 2. 为设计师提供创作灵感，但市场对大量二次元美术设计师的需求可能降低，从业者需关注行业动态，提升技能和创新能力，注重作品原创性和创新性，学会有效利用工具，提高沟通和协作能力。 在数字营销趋势中，AI 加持的创意与设计方面： 1. 现状：AI 驱动的创意工具已融入设计流程，如素材生成和高级图像编辑，设计师使用 Adobe Firefly 和 Midjourney 等工具加速视觉创作和创建符合品牌的素材。 2. 风险与挑战： 过度依赖 AI 可能导致设计同质化，失去独特创意表达，需平衡 AI 效率与原创创意输入。 设计师要不断适应新的 AI 工具和技术，持续学习保持竞争力并发挥 AI 潜力。 AI 生成的内容可能引发版权问题，需要明确法律框架解决所有权和权利问题。 3. 展望：随着 AI 技术发展，预计在实时、按需设计中发挥更大作用，未来的 AI 工具可能支持更复杂的创意任务，进一步融入创意流程的核心。

以下是关于 AI 工业机械设计的相关信息： AI 绘画在工业机械设计中的应用： Midjourney 可生成包含工业机械的相关图片，如一个数据图标，蓝色渐变磨砂玻璃，磨砂玻璃建筑，白色透明科技感白色城市建筑场景，数据线链接，芯片等元素，具有高细节灰色背景与简单的线性细节，工作室照明，3d,c4d，纯白背景，8k 等特点。质感不错，可多尝试喂不同构图的图片，喂图玩法对图片影响最大的是参考图，建议多跑跑图。 AI 在航天器零部件设计中的应用： NASA 研究工程师瑞安·麦克莱兰使用商业 AI 工具设计既轻又坚固的任务硬件。AI 工具能在一小时内生成 30 或 40 个想法，设计的零件比人类设计的更强壮、更轻，且会提出人类想不到的想法，但有时也会犯人类不会犯的错误。 获取 AI 生成 CAD 图相关资料的途径： 学术论文：通过 Google Scholar、IEEE Xplore、ScienceDirect 等学术数据库搜索。 专业书籍：查找相关专业书籍了解应用和案例。 在线课程和教程：参加 Coursera、edX、Udacity 等平台上的课程，在 YouTube 等平台查找教程和演示视频。 技术论坛和社区：加入如 Stack Overflow、Reddit 的 r/AI 和 r/CAD 等，与专业人士交流学习，关注相关博客和新闻网站。 开源项目和代码库：探索 GitHub 等开源平台上的相关项目，如 OpenAI 的 GPT3、AutoGPT 等在 CAD 设计中的应用。 企业案例研究：研究如 Autodesk、Siemens 等公司在 AI 在 CAD 设计中的应用。 在学习和研究 AI 生成 CAD 图时，掌握相关基础知识和技术细节很重要，通过多种途径逐步掌握其应用和实现。随着 AI 技术发展，在 CAD 设计中的应用会更广泛，为设计师和工程师提供更多辅助和支持。

以下是关于 AI 工业设计的相关信息： 在小红书博主方面，有诸如 Ai HFBY 等博主从事工业设计相关内容的分享，您可以通过相应链接查看他们的作品和教程。 腾讯研究院的报告中提到，工业设计在基础模型和开源生态方面有所涉及，包括产品迭代、VR 构建的虚拟环境等。当前存在训练数据稀缺、泛化能力有限等瓶颈，未来方向包括 GANs 数据生成、迁移学习优化等。同时，在 3D 生成方面，须解决空间几何难题，材质还原方面基于几何模型的空间结构特征生成真实感材质与纹理映射，纹理生成方法多元化，核心技术不断突破，AI 赋能加速发展，应用场景持续扩展。 分众传媒携手阿里通义大模型开拓了品牌广告 AI 营销新模式，其中的 AI 创意设计包含 AI 设计、AI 生图、模板中心等能力，可通过对话方式表达设计需求，利用文生图/图生图能力解决各类营销场景素材生成需求，并提供数十万精选模板降低创意制作门槛。

以下是为您提供的在短时间内系统化学习 AI 的建议： 一、了解 AI 基本概念 首先，建议阅读「」部分，熟悉 AI 的术语和基础概念。了解什么是人工智能，它的主要分支（如机器学习、深度学习、自然语言处理等）以及它们之间的联系。同时，浏览入门文章，这些文章通常会介绍 AI 的历史、当前的应用和未来的发展趋势。 二、开始 AI 学习之旅 在「」中，您将找到一系列为初学者设计的课程。这些课程将引导您了解生成式 AI 等基础知识，特别推荐李宏毅老师的课程。您还可以通过在线教育平台（如 Coursera、edX、Udacity）上的课程，按照自己的节奏学习，并有机会获得证书。 三、选择感兴趣的模块深入学习 AI 领域广泛（比如图像、音乐、视频等），您可以根据自己的兴趣选择特定的模块进行深入学习。我建议您一定要掌握提示词的技巧，它上手容易且很有用。 四、实践和尝试 理论学习之后，实践是巩固知识的关键，尝试使用各种产品做出您的作品。在知识库提供了很多大家实践后的作品、文章分享，欢迎您实践后的分享。 五、体验 AI 产品 与现有的 AI 产品进行互动是学习 AI 的另一种有效方式。尝试使用如 ChatGPT、Kimi Chat、智谱、文心一言等 AI 聊天机器人，了解它们的工作原理和交互方式。通过与这些 AI 产品的对话，您可以获得对 AI 在实际应用中表现的第一手体验，并激发您对 AI 潜力的认识。 如果希望继续精进，对于 AI，可以尝试了解以下内容作为基础： 1. AI 背景知识 （1）基础理论：了解人工智能、机器学习、深度学习的定义及其之间的关系。 （2）历史发展：简要回顾 AI 的发展历程和重要里程碑。 2. 数学基础 （1）统计学基础：熟悉均值、中位数、方差等统计概念。 （2）线性代数：了解向量、矩阵等线性代数基本概念。 （3）概率论：基础的概率论知识，如条件概率、贝叶斯定理。 3. 算法和模型 （1）监督学习：了解常用算法，如线性回归、决策树、支持向量机（SVM）。 （2）无监督学习：熟悉聚类、降维等算法。 （3）强化学习：简介强化学习的基本概念。 4. 评估和调优 （1）性能评估：了解如何评估模型性能，包括交叉验证、精确度、召回率等。 （2）模型调优：学习如何使用网格搜索等技术优化模型参数。 5. 神经网络基础 （1）网络结构：理解神经网络的基本结构，包括前馈网络、卷积神经网络（CNN）、循环神经网络（RNN）。 （2）激活函数：了解常用的激活函数，如 ReLU、Sigmoid、Tanh。 此外，以证件照为例，Code AI 应用开发教学中，智能体开发从最初的 chatbot 只有对话框，到有了更多交互方式，因用户需求扣子推出了 AI 应用，其低代码或零代码的工作流等场景做得较好。但 AI CODING 虽强，目前适用于小场景和产品的第一个版本，复杂应用可能导致需求理解错误从而使产品出错。在创建 AI 应用时，要学习操作界面、业务逻辑和用户界面，包括布局、搭建工作流、用户界面及调试发布，重点熟悉桌面网页版的用户界面。

目前尚未有成熟的 AI 大模型或智能体能够直接实现输入材质图片就得到经过设计后的成品衣服的功能。但在 AI 领域的不断发展中，可能会有相关的技术和模型在未来出现。

目前尚未有专门的 AI 大模型或智能体能够直接实现您所描述的输入衣服材质图片就得到经过设计后的材质成品衣服的功能。但随着 AI 技术的不断发展，未来可能会出现相关的应用。

利用多轮对话做 Agent 问答可以从以下几个方面考虑： 1. 从产品角度： 思考用户为何想使用，例如通过探索历史新闻让用户更好地了解自身背景、成长环境，从中学习成长并获得有趣互动体验。 明确 Agent 是谁及其性格，比如设定为知识渊博、温暖亲切、富有同情心的历史新闻探索向导，负责新闻解析和历史背景分析。 确定提供新闻的时间，如用户出生那天及那一周的重要新闻事件。 规划除新闻外的能力，如提供历史背景分析、相关画作、生活方式分析，甚至加入神秘主义者和心理学家角色回应用户。 设计多 Agent 出场顺序和使用方式，通过多角色互动设计，让用户体验多层次对话，从基本问答到深度讨论，逐步引导用户探索。 2. 基于 LLM 的大脑模块： 自然语言交互方面：LLM 应具备多轮对话能力，能理解自然语言并生成连贯、上下文相关的回复，还应具备出色的生成能力和意图理解能力，但要注意模糊指令可能带来的挑战。 知识方面：包括语言知识（词法、句法、语义学和语用学）、常识知识（如药和伞的用途）、专业领域知识（如编程、医学），但要注意知识可能过时或错误，需通过重新训练或编辑 LLM 解决。 记忆方面：具备记忆机制，存储过去的观察、思考和行动，通过提高输入长度限制、记忆总结、用向量或数据结构压缩记忆等策略提升记忆，Agent 能检索记忆以访问相关信息，包括自动检索和交互式记忆对象。 推理和规划方面：基于证据和逻辑进行推理，这对解决问题和决策至关重要。

多轮对话的实现方式如下： 1. 核心思路是让 AI 和您对目标的理解达成共识，保持一致，然后再开始创作，这样能增加创作的可控性。比如通过对生成图像的理解诱导和迭代来实现。 2. 有效的部分包括： 约束的弹性，在探索阶段给 AI 一定自由空间，而 prompt 一般是强约束的，更适合确定性的目标或者用于总结阶段。 情绪，情绪化能局部提升 AI 效能。 共识，您的理解和 AI 的理解要高度一致，在高共识性的背景下，调整和控制会更有效。 3. 注意事项： 如果经历很多轮的对话，可能会导致此次对话超过模型的 token 限制，ChatGPT 会遗忘之前的内容。建议当经历多轮对话后，可以新建一个聊天窗口，把完整的代码和需求背景输入给 ChatGPT，重新开启新的提问。 在自然的人类语言交流中，多轮对话常常伴随着指代问题的产生。为了提升对话系统的性能和用户体验，需要开发提示词来解决多轮对话中的指代消解问题，并确保模型能够在连续的交流中提供准确、连贯的回答。由于“指代消解”需要多轮对话来完成，单次交互无法达成，所以需要将测试形式进行转换，先解决“指代消解”的问题，然后再进行下一轮答复。

单轮对话与多轮对话调用： 聊天模型通过一串聊天对话作为输入，并返回一个模型生成的消息作为输出。尽管聊天格式的设计是为了多轮对话更简单，但它对于没有任何对话的单轮任务同样有用（例如以前由 textdavinci003 等指令遵循模型提供的任务）。 API 调用的例子中，messages 参数是主要的输入，必须是一个消息对象的数组，每个对象拥有一个 role（“system”“user”或“assistant”）和 content（消息的内容）。会话可以少至 1 条消息或者有许多条。通常，会话首先使用系统消息格式化，然后交替使用用户消息和助手消息。系统消息有助于设定助手的行为，用户消息帮助指示助手，助手消息用于存储之前的响应。当用户的指令是关于之前的消息时，包含聊天历史记录将有所帮助。如果会话包含的 token 超出了模型的限制，则需要用一些方法去缩减会话。 百炼相关 Q&A： 如何调用工作流？在提示词写了让大模型调用 xxx 工作流，但实际总是不调用。文档里也没有写调用方式。 如何把开始节点的输入参数直接接入到代码节点中进行处理？ 千问模型基本不能处理标点符号，在提示词中各种要求句尾不要有句号，可仍旧有。甚至在工作流中用代码去掉后，回到应用中又给加上了标点符号。同样的提示词，放在扣子中就可以去掉标点符号。 记得第一天提到，规定模型不能用搜索和投喂输出文本。比赛是不是只限在提示词调试的范围内呢？ 为什么同样的问题，给出的答案区别这么大？接的就是同一个应用，这个问题很早就预测过了，同一个模型。 无论 prompt 怎么变，模型生成完内容后，自动被“不生成任何的标点符号”所替换。这个情况在 max。 COW 调用百炼应用如何支持多轮对话么？

聊天模型通过一串聊天对话作为输入，并返回一个模型生成的消息作为输出。尽管聊天格式的设计是为了多轮对话更简单，但它对于没有任何对话的单轮任务同样有用（例如以前由 textdavinci003 等指令遵循模型提供的任务）。 API 调用的例子中，messages 参数是主要的输入，必须是一个消息对象的数组，每个对象拥有一个 role（“system”“user”或“assistant”）和 content（消息的内容）。会话可以少至 1 条消息或者有许多条。通常，会话首先使用系统消息（“system”）格式化，然后交替使用用户消息（“user”）和助手消息（“assistant”）。系统消息有助于设定助手的行为，用户消息帮助指示助手，助手消息用于存储之前的响应。当用户的指令是关于之前的消息时，包含聊天历史记录将有所帮助。如果会话包含的 token 超出了模型的限制，则需要用一些方法去缩减会话。 此外，还存在一些与百炼相关的 Q&A： 如何调用工作流？在提示词写了让大模型调用 xxx 工作流，但实际总是不调用。文档里也没有写调用方式。 如何把开始节点的输入参数直接接入到代码节点中进行处理？ 千问模型基本不能处理标点符号，在提示词中各种要求句尾不要有句号，可仍旧有。甚至在工作流中用代码去掉后，回到应用中又给加上了标点符号。同样的提示词，放在扣子中就可以去掉标点符号。 为什么同样的问题，给出的答案区别这么大？接的就是同一个应用，这个问题很早就预测过了，同一个模型。 无论 prompt 怎么变，模型生成完内容后，自动被“不生成任何的标点符号”所替换。这个情况在 max。 COW 调用百炼应用如何支持多轮对话么？

以下是优化 AI 对话脚本和逻辑（多轮对话测试提升 AI 上下文理解）的方法： 1. 样例驱动的渐进式引导法 评估样例，尝试提炼模板：独自产出高质量样例较难，可借助擅长扮演专家角色的 AI 改进初始正向样例，如使用 Claude 3.5 进行对话，输入初始指令，通过其回复侧面印证对样例的理解与建议。 多轮反馈，直至达到预期：AI 可能犯错输出要求外内容，需多轮对话引导，使其不断修正理解，直至达成共识。 用例测试，看看 AI 是否真正理解：找 13 个用例，让 AI 根据模板生成知识卡片，根据结果验证是否符合预期，不符合则继续探讨调整。用例测试和多轮反馈步骤灵活，可根据需要自由反馈调整。 2. Coze 全方位入门剖析 标准流程创建 AI Bot（进阶推荐） 为 Bot 添加技能：国内版暂时只支持使用“云雀大模型”作为对话引擎，可根据业务需求决定上下文轮数。在 Bot 编排页面的“技能”区域配置所需技能，可选择自动优化插件或自定义添加插件。还可根据需求配置知识库、数据库、工作流等操作，参考相关介绍和实战操作或官方文档学习。 测试 Bot：在“预览与调试”区域测试 Bot 是否按预期工作，可清除对话记录开始新测试，确保能理解用户输入并给出正确回应。

在解决模型微调中多轮对话容易受到上轮对话影响的问题时： 对于多轮对话，现实中常伴随指代问题，如使用“它”“他们”“我们”等代词。若仅依据原始提问检索知识片段，可能导致结果不精确或无法检索到信息。同时，对模型回复内容的限制可能影响多轮对话流畅性甚至中断。 为提升对话系统性能和用户体验，需开发提示词解决多轮对话中的指代消解问题，确保模型能在连续交流中提供准确连贯回答。但由于“指代消解”需多轮对话完成，单次交互无法达成，所以要转换测试形式，先解决“指代消解”问题再进行下一轮答复。 首先准备指代消解所需提示词，这里使用的“指代消解”提示词是用 CoT 写出的思维链，列举不同推理情景，让模型适应并推理出需消解的代词，再根据结果重新组织问题。 接着复现指代消解步骤，如进行第一轮对话，提出问题“尼罗河是什么？”，系统召回相关知识片段并回复，然后开始指代消解。 另外，聊天模型通过一串聊天对话输入并返回生成消息输出。聊天格式虽为多轮对话设计，但对单轮任务也有用。会话通过 messages 参数输入，包含不同角色和内容的消息对象数组。通常会话先有系统消息设定助手行为，再交替使用用户和助手消息。当指令涉及之前消息时，包含聊天历史记录有帮助，若超出模型限制需缩减会话。

以下是一些让 AI 在写作小说时能很好地根据整体故事情节和上下文进行故事展开和描写的方法： 1. 创作穿越故事的 Prompt 时，明确以下内容： 标题：“generate:小说的标题” 设置：“generate:小说的情景设置细节，包括时间段、地点和所有相关背景信息” 主角：“generate:小说主角的名字、年龄、职业，以及他们的性格和动机、简要的描述” 反派角色：“generate:小说反派角色的名字、年龄、职业，以及他们的性格和动机、简要的描述” 冲突：“generate:小说故事的主要冲突，包括主角面临的问题和涉及的利害关系” 对话：“generate:以对话的形式描述情节，揭示人物，以此提供一些提示给读者” 主题：“generate:小说中心主题，并说明如何在整个情节、角色和背景中展开” 基调：“generate:整体故事的基调，以及保持背景和人物的一致性和适当性的说明” 节奏：“generate:调节故事节奏以建立和释放紧张气氛，推进情节，创造戏剧效果的说明” 其它：“generate:任何额外的细节或对故事的要求，如特定的字数或题材限制” 根据上面的模板生成为特定题材小说填充内容，并分章节，生成小说的目录。 2. 接下来，让 AI 一段一段进行细节描写。为确保文章前后一致，先让 AI 帮助写故事概要和角色背景介绍，并在其基础上按自己的审美略做修改。 3. 可以让 AI 以表格的形式输出细节描述。这样做有三个好处： 打破 AI 原本的叙事习惯，避免陈词滥调。 按编号做局部调整很容易，指哪改哪，别的内容都能够稳定保持不变。 确保内容都是具体的细节，避免整段输出时缩减导致丢光细节只有笼统介绍。 4. 把生成的表格依次复制粘贴，让 AI 照着写文章，偶尔根据需要给 AI 提供建议。 5. 注意小说大赛的要求，如最后的作品必须是 AI 直接吐出来的，不能有任何改动，不能超过规定字数等。如果需要修改，可能会遇到像 GPT4 记性不好或 Claude 改掉关键情节等问题。

AI 能够回复的内容与其上下文限制有关。 首先，上下文在英文中通常翻译为“context”，指的是对话聊天内容前、后的信息。使用时，上下文长度和上下文窗口都会影响 AI 大模型回答的质量。上下文长度限制了模型一次交互中能够处理的最大 token 数量，而上下文窗口限制了模型在生成每个新 token 时实际参考的前面内容的范围。 不同的 AI 平台有不同的限制方式。例如，Claude 基于 token 限制上下文，简单理解就是每次和 AI 对话，所有内容字数加起来不能太多，如果超过了，它就会忘记一些内容，甚至直接提示要另起一个对话。ChatGPT 则限制会话轮数，比如在一天之中，和它会话的次数有限制，可能 4 个小时只能说 50 句话。 应对这些限制的策略包括将复杂任务分解为小模块、定期总结关键信息以及在新会话中重新引入重要上下文。

回复限制和上下文限制不是一样的概念。 上下文（英文通常翻译为 context）指对话聊天内容前、后的内容信息。使用时，上下文长度限制了模型一次交互中能够处理的最大 token 数量，而上下文窗口限制了模型在生成每个新 token 时实际参考的前面内容的范围。 回复限制通常是指对模型生成回复内容的各种约束条件，例如让模型基于一个固定知识片段去回复内容，为避免模型产生幻觉而对提示词进行优化，将 Constraints 前置以更好地控制模型行为。例如在一些测试中，会出现模型在没有上下文时不回复，按照提供的知识准确回复但透露原文，知识片段大小影响回复，以及有错误知识片段时不回复等情况，这表明模型在处理用户输入时会进行一定程度的推理和验证，生成回复时会考虑多种因素，包括上下文的准确性、问题的合理性以及模型内部的约束机制等。

以下是关于上下文窗口和 tokens 限制的详细解释： Token 方面： Token 是大模型语言体系中的最小单元。人类语言发送给大模型时，会先被转换为大模型自己的语言，大模型推理生成答案后再翻译为人类能看懂的语言输出。 不同厂商的大模型对中文的文本切分方法不同，通常 1Token 约等于 1 2 个汉字。 大模型的收费计算方法以及对输入输出长度的限制，都是以 token 为单位计量的。 上下文方面： 上下文指对话聊天内容前、后的内容信息，其长度和窗口都会影响大模型回答的质量。 上下文长度限制了模型一次交互中能够处理的最大 token 数量，上下文窗口限制了模型在生成每个新 token 时实际参考的前面内容的范围。 目前常见模型的 token 限制： Claude 2 100k 模型的上下文上限是 100k Tokens，即 100000 个 token。 ChatGPT 16k 模型的上下文上限是 16k Tokens，即 16000 个 token。 ChatGPT 4 32k 模型的上下文上限是 32k Tokens，即 32000 个 token。 Token 限制的影响： 对一次性输入和一次对话的总体上下文长度同时生效。 当达到上限时，不是停止对话，而是遗忘最前面的对话，类似于鱼的短暂记忆。 查看 token 使用量： 对于 GPT，可以打开查看实时生成的 tokens 消耗和对应字符数量。 需注意 GPT3 和 GPT3.5/4 的 token 计算方式不同，且英文的 Token 占用相对于中文较少，这也是很多中文长 Prompt 会被建议翻译成英文设定然后要求中文输出的原因。 Token 限制对 Prompt 编写的影响：理解前面的内容后，答案应在您的脑海中有雏形。

上下文指对话聊天内容前、后的内容信息。在 AI 领域，其英文通常翻译为 context。使用时，上下文长度和上下文窗口都会影响 AI 大模型回答的质量。上下文长度限制了模型一次交互中能够处理的最大 token 数量，而上下文窗口限制了模型在生成每个新 token 时实际参考的前面内容的范围。 从算法视角看，更宽的上下文窗口允许模型在推理时纳入训练数据中未找到的大量新的、特定于任务的信息，从而提高各种自然语言或多模式任务的性能。对越来越长的上下文进行数据建模的能力有着发展历程：从 Shannon 1948 提出的 2gram 语言模型、到 1990 年代和 2000 年代的现代 ngram 模型（5 个上下文 token），2010 年代的循环神经网络（RNN）达到数百个 token（Jozefowicz 等），到 2023 年 Anthropic 将上下文扩展到几十万 token。 从产品视角看，长上下文意味着 LLM 理解能力增强。从提示词到 RAG，都是为了增加给模型的上下文，进而让需求更明确，让模型理解得更好。从用数据训练模型、到指令微调，到提示词和 RAG，到大模型的超长下文，机器越来越像人了。提示词和 RAG 正在快速被弱化，但出于工程和商业考量，目前在很多领域还是主流，未来依然可能是一个混合状态。 模型上下文长度覆盖了书籍、电影、长视频等产品的通用长度，应该会引发相关链路上产品交互层的变化，这一点值得观察。 在提示词中，上下文包含外部信息或额外的上下文信息，能够引导语言模型更好地响应。