直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

上下文窗口和 tokens限制

回答

以下是关于上下文窗口和 tokens 限制的详细解释：

Token 方面：

  • Token 是大模型语言体系中的最小单元。人类语言发送给大模型时，会先被转换为大模型自己的语言，大模型推理生成答案后再翻译为人类能看懂的语言输出。
  • 不同厂商的大模型对中文的文本切分方法不同，通常 1Token 约等于 1 - 2 个汉字。
  • 大模型的收费计算方法以及对输入输出长度的限制，都是以 token 为单位计量的。

上下文方面：

  • 上下文指对话聊天内容前、后的内容信息，其长度和窗口都会影响大模型回答的质量。
  • 上下文长度限制了模型一次交互中能够处理的最大 token 数量，上下文窗口限制了模型在生成每个新 token 时实际参考的前面内容的范围。

目前常见模型的 token 限制：

  • Claude - 2 - 100k 模型的上下文上限是 100k Tokens，即 100000 个 token。
  • ChatGPT - 16k 模型的上下文上限是 16k Tokens，即 16000 个 token。
  • ChatGPT - 4 - 32k 模型的上下文上限是 32k Tokens，即 32000 个 token。

Token 限制的影响：

  • 对一次性输入和一次对话的总体上下文长度同时生效。
  • 当达到上限时，不是停止对话，而是遗忘最前面的对话，类似于鱼的短暂记忆。

查看 token 使用量：

  • 对于 GPT，可以打开https://platform.openai.com/tokenizer查看实时生成的 tokens 消耗和对应字符数量。
  • 需注意 GPT3 和 GPT3.5/4 的 token 计算方式不同，且英文的 Token 占用相对于中文较少，这也是很多中文长 Prompt 会被建议翻译成英文设定然后要求中文输出的原因。

Token 限制对 Prompt 编写的影响：理解前面的内容后，答案应在您的脑海中有雏形。

内容由 AI 大模型生成，请仔细甄别（powered by aily）

参考资料

走入AI的世界

首先我们给出一些常见缩写和专业词汇的“人话”解释，它们十分基础，但理解他们至关重要。为了讨论更加聚焦，接下来的内容将主要围绕大语言模型为主进行展开（对于其他模态的大模型，我们暂且放放）：LLM：Large language model的缩写，即大语言模型，前面百团大战中的各类大模型，说的都是大语言模型（极其应用）Prompt：中文译作提示词，就是我们输入给大模型的文本内容，可以理解为你和大模型说的话，下达的指令。提示词的质量好坏，会显著影响大模型回答的质量，很多时候如果你觉得大模型回答的太差了，AI味儿太浓了，很可能是你的提示词写的不够好，换言之，不是AI不行，而是你不行😌Token：就像人类有着不同的语言，大模型也有着自己的语言体系，如图9，我们发送文本给大模型时，大模型会先把文本转换为他自己的语言，并推理生成答案，而后再翻译成我们看得懂的语言输出给我们。正如人类不同语言都有最小的字词单元（汉语的字/词，英语的字母/单词），大模型语言体系中的最小单元就称为Token。这种人类语言到大模型语言的翻译规则，也是人类定义的，以中文为例，由于不同厂商的大模型采用了不同的文本切分方法，因此一个Token对应的汉字数量也会有所不同，但在通常情况下，1Token≈1-2个汉字。请注意，大模型的收费计算方法，以及对输入输出长度的限制，都是以token为单位计量的。上下文：英文通常翻译为context，指对话聊天内容前、后的内容信息。使用时，上下文长度和上下文窗口都会影响AI大模型回答的质量。上下文长度限制了模型一次交互中能够处理的最大token数量，而上下文窗口限制了模型在生成每个新token时实际参考的前面内容的范围（关于这一点，你需要看完3.2中关于GPT的讨论，方能更好理解）

关于 token 你应该了解……

从官方文档可以看到我们目前使用的模型有哪些，以及每个模型的token限制。除此之外，最直观能感受到各类模型token限制的其实是poe:在这里我们看到的16K、32K、100K就是指token上限。Claude-2-100 k模型的上下文上限是100k Tokens，也就是100000个tokenChatGPT-16 k模型的上下文上限是16k Tokens，也就是16000个tokenChatGPT-4-32 k模型的上下文上限是32k Tokens，也就是32000个token但似乎很多小伙伴不理解这个限制具体影响在哪些方面。所以我替你们问了一下GPT（真不懂你们为什么不自己问/手动狗头）从回答可以看出，这个token限制是同时对下述两者生效的：1、一次性输入2、一次对话的总体上下文长度，值得注意的是这个长度不是达到上限就停止对话，而是遗忘最前面的对话，你可以理解为鱼的记忆只有7秒，第8秒的时候他会忘记第1秒的事，第9秒的时候……（某些同学是不是恍然大悟了）

小七姐：Prompt 喂饭级系列教程小白学习指南（三）

Claude-2-100 k模型的上下文上限是100k Token s，也就是100000个TokenChatGPT-16 k模型的上下文上限是16k Token s，也就是16000个TokenChatGPT-4-32 k模型的上下文上限是32k Token s，也就是32000个Token但似乎很多小伙伴不理解这个限制具体影响在哪些方面。所以我替你们问了一下GPT从回答可以看出，这个Token限制是同时对下述两者生效的：一次性输入一次对话的总体上下文长度，值得注意的是这个长度不是达到上限就停止对话，而是遗忘最前面的对话，你可以理解为鱼的记忆只有7秒，第8秒的时候他会忘记第1秒的事，第9秒的时候……（某些同学是不是恍然大悟了）三、怎么看我使用了多少Token如果我们想要直观的查看GPT是如何切分token的话，我们可以打开：[https://platform.openai.com/tokenizer](https://platform.openai.com/tokenizer)在下图可以看到实时生成的tokens消耗和对应字符数量请注意，GPT3和GPT3.5/4的token计算方式是不一样的。（GPT3用的编码是p50k/r50k，GPT3.5是cl100K_base）在这里值得注意的是，英文的Token占用相对于中文是少很多的，这也是为什么很多中文长Prompt会被建议翻译成英文设定，然后要求中文输出的原因。四、Token限制对Prompt编写有什么影响当你理解了前面的一、二、三之后，这个问题的答案应该已经在你脑子里有雏形了：

其他人在问
各个大模型tokens价格
截止 2024 年 5 月，我查询到的大模型Token价格供您参考： !
2024-05-13
ai能够回复多少内容和它的上下文限制有关吗
AI 能够回复的内容与其上下文限制有关。 首先，上下文在英文中通常翻译为“context”，指的是对话聊天内容前、后的信息。使用时，上下文长度和上下文窗口都会影响 AI 大模型回答的质量。上下文长度限制了模型一次交互中能够处理的最大 token 数量，而上下文窗口限制了模型在生成每个新 token 时实际参考的前面内容的范围。 不同的 AI 平台有不同的限制方式。例如，Claude 基于 token 限制上下文，简单理解就是每次和 AI 对话，所有内容字数加起来不能太多，如果超过了，它就会忘记一些内容，甚至直接提示要另起一个对话。ChatGPT 则限制会话轮数，比如在一天之中，和它会话的次数有限制，可能 4 个小时只能说 50 句话。 应对这些限制的策略包括将复杂任务分解为小模块、定期总结关键信息以及在新会话中重新引入重要上下文。
2024-11-15
回复限制和上下文限制是一样的吗
回复限制和上下文限制不是一样的概念。 上下文（英文通常翻译为 context）指对话聊天内容前、后的内容信息。使用时，上下文长度限制了模型一次交互中能够处理的最大 token 数量，而上下文窗口限制了模型在生成每个新 token 时实际参考的前面内容的范围。 回复限制通常是指对模型生成回复内容的各种约束条件，例如让模型基于一个固定知识片段去回复内容，为避免模型产生幻觉而对提示词进行优化，将 Constraints 前置以更好地控制模型行为。例如在一些测试中，会出现模型在没有上下文时不回复，按照提供的知识准确回复但透露原文，知识片段大小影响回复，以及有错误知识片段时不回复等情况，这表明模型在处理用户输入时会进行一定程度的推理和验证，生成回复时会考虑多种因素，包括上下文的准确性、问题的合理性以及模型内部的约束机制等。
2024-11-15
上下文的含义
上下文指对话聊天内容前、后的内容信息。在 AI 领域，其英文通常翻译为 context。使用时，上下文长度和上下文窗口都会影响 AI 大模型回答的质量。上下文长度限制了模型一次交互中能够处理的最大 token 数量，而上下文窗口限制了模型在生成每个新 token 时实际参考的前面内容的范围。 从算法视角看，更宽的上下文窗口允许模型在推理时纳入训练数据中未找到的大量新的、特定于任务的信息，从而提高各种自然语言或多模式任务的性能。对越来越长的上下文进行数据建模的能力有着发展历程：从 Shannon 1948 提出的 2gram 语言模型、到 1990 年代和 2000 年代的现代 ngram 模型（5 个上下文 token），2010 年代的循环神经网络（RNN）达到数百个 token（Jozefowicz 等），到 2023 年 Anthropic 将上下文扩展到几十万 token。 从产品视角看，长上下文意味着 LLM 理解能力增强。从提示词到 RAG，都是为了增加给模型的上下文，进而让需求更明确，让模型理解得更好。从用数据训练模型、到指令微调，到提示词和 RAG，到大模型的超长下文，机器越来越像人了。提示词和 RAG 正在快速被弱化，但出于工程和商业考量，目前在很多领域还是主流，未来依然可能是一个混合状态。 模型上下文长度覆盖了书籍、电影、长视频等产品的通用长度，应该会引发相关链路上产品交互层的变化，这一点值得观察。 在提示词中，上下文包含外部信息或额外的上下文信息，能够引导语言模型更好地响应。
2024-10-26
现在的大模型应用都没有记忆能力需要在每次调用时输入上下文？
目前的大模型应用本质上通常没有直接的记忆功能。以 ChatGPT 为例，它能理解用户的交流内容并非因为自身具备记忆能力，而是每次将之前的对话内容作为新的输入重新处理。这种记忆功能实际上是通过在别处进行存储来实现的。 对于大模型的工作原理，在回复时是一个字一个字地推理生成内容，会根据输入的上下文来推测下一个字。但大模型的学习数据规模庞大，若每次计算都带入全量数据，算力难以承受，且仅算字的概率容易受不相干信息干扰，词向量机制和 transformer 模型中的 attention 自注意力机制解决了这些难题。 另外，系统的内存是大模型的上下文窗口，如 Google Gemini 1.5 Pro 实验版已将其提升到一千万。但窗口越大推理越慢，且模型可能失焦降低准确度，研发团队需平衡吞吐量、速度和准确度。在模型外，操作系统的其他部件如文件系统能让模型具备无限记忆的能力，而大模型应用领域常用的方法如 RAG 能让模型用自定义数据生成结果，处理无尽的私有数据。
2024-10-08
微信机器人回答问题联系上下文
以下是关于微信机器人回答问题联系上下文的相关信息： 对于纯 GPT 大模型能力的微信聊天机器人搭建，有以下疑问解答方式： 1. 查阅官方文档和教程：极简未来平台、宝塔面板和 Docker 都有详细的官方文档和教程，可解决大部分问题。 2. 联系技术支持：极简未来平台提供技术支持服务，可联系其技术团队寻求帮助。 3. 加入技术社群：加入相关技术社群，向有经验的用户请教，获取问题解决方案。 4. 在线论坛和社区：在在线论坛和社区发布问题，寻求其他用户的帮助和建议。 若担心运维时间长会忘记操作步骤，可采取以下措施： 1. 制作操作手册：将每一步操作记录下来，方便日后查阅。 2. 定期操作：定期登录服务器，进行简单操作和维护，保持熟练度。 3. 视频教程：录制自己的操作视频，日后查看更直观。 4. 自动化脚本：对于常见运维任务，编写自动化脚本简化操作步骤。 DIN 提供的全程白嫖的 AI 大模型微信助手，能解答任何问题，可接入微信或群聊为用户提供自动答疑服务，还能投喂特定知识，成为客服、专业老师或知识备忘录。无需技术知识，小白也能轻松搭建，全程只需复制粘贴，可自定义知识库，满足不同需求，支持多场景应用，如客服、教育、个人知识管理等，全程免费。 张梦飞的超级微信机器人当前能力已接入，但仍有优化点需要调整，比如分段发送、收图发图、无需@等，后续会更新。若遇到问题，可添加其微信获得帮助。
2024-09-02
你在设计大模型语音座舱功能，怎么设计上下文多轮对话的场景，比如否定、指代、延展等
在设计大模型语音座舱功能中的上下文多轮对话场景时，对于否定的情况，需要准确识别用户表达的否定意图，并据此调整后续的回应策略。例如，当用户说“不要这样做”，系统要理解并停止当前可能进行的相关操作。 指代方面，要能够解析用户话语中的各种指代关系，比如“那个东西”“这个方案”等，通过上下文和语境来明确其具体所指。 延展的场景设计则要鼓励用户进一步展开话题，例如当用户提到一个主题后，系统可以通过提问或提供相关信息来引导用户深入阐述，比如“能再多和我讲讲吗？”或者“那您对这方面还有其他的想法吗？”
2024-08-27
如何在agent 工作流中间加入对话窗口？
在 agent 工作流中间加入对话窗口可以参考以下步骤： 1. 对于分段输入正文，考虑到对照精读环节适合批处理形式，需要把正文分割，用 LLM 节点批处理每一段的对照精读，最终拼合精读结果以输出完整文本。用户输入原文的格式一般是：为了确保正确区分标题句和段落内容，直接在 AI 对话窗口中通过开场白提示用户按格式输入文章，用“”符直接标记标题句。然后用 Python 脚本去掉标题句，并把剩下内容按照段落的换行逐段输出为 Array<String>格式，同时附上 Python 代码。试运行后，节点会按照预期分次输出每一段原文。 2. 在点击“发布”发布工作流后，创建一个 bot 进行最终的工作流封装。封装过程包括：创建 Bot、填写 Bot 介绍、切换 Bot 模式为“单 Agent（工作流模式）”（因为此 Agent 只需在每次输入英文文章时返回精读结果，不需要外层 bot 对输入进行其他任务理解，直接调用工作流即可）、把配置好的工作流添加到 Bot 中、填写开场白引导用户使用，并关闭开场白预置问题（因为使用流程里用不到）。
2024-09-20
Midjourney生成知名动漫或卡通形象受限制了么？
Midjourney 在生成知名动漫或卡通形象时存在一定的限制。例如，在生成角色方面，最好不要生成过多角色，过多甚至可能指 2 个。做人、做动物的情况还好，但对于有拟人角色需求的情况，可能难以生成满意的结果。比如小龙喷火到小兔子举着的礼物盒这种看似简单的需求，可能无法达到满意效果，可能出现动物不拟人或龙的体型超大等情况。对于像中国龙这种数据样本较少的形象，生成符合要求的图很有挑战性。 在视频生成方面，如果想让角色做出一些较大的动作，比如转头、掉眼泪、抬手或更生动的表情变化，现有的技术还不够成熟，还需要更先进的技术、更丰富的数据和更强大的计算能力。此时的策略是尽量规避制作需要大动作表现的视频，如果实在避免不了，可以尝试制作一些只涉及小动作的场景，然后通过加入台词和场景描述来补充细节和深度，帮助观众更好地理解场景背景和角色心理，以弥补视觉上的不足。
2024-10-29
文字生成视频，时间没有限制且免费的软件有哪些？
以下是一些文字生成视频且时间没有限制且免费的软件： 1. Pika：一款出色的文本生成视频 AI 工具，擅长动画制作，并支持视频编辑。 2. SVD：如果熟悉 Stable Diffusion，可以安装这款最新的插件，在图片基础上直接生成视频，这是由 Stability AI 开源的 video model。 3. 剪映海外版 CapCut：每人每天可以免费生成五次，网址：https://www.capcut.com/editortools/aivideogenerator 。 更多相关工具和网站可以查看： 1. 2. AnimateLCMSVDxt：利用了 LCM 技术蒸馏的 SVD 模型，只需要四步就能生成不错的视频，网址：https://huggingface.co/wangfuyun/AnimateLCMSVDxt 。 内容由 AI 大模型生成，请仔细甄别。
2024-10-04
有没有什么没有道德限制的AI软件？
目前不存在没有道德限制的 AI 软件。 AI 是一种工具，其使用需要遵循道德规范。大型语言模型本身不具有真正的道德观念，但其开发者和研究人员会采取一系列措施使其输出符合社会道德和伦理标准，例如数据清洗、算法设计、制定道德和伦理准则、保持透明度、接受用户反馈、持续监控、人工干预以及对使用者进行教育和培训等。 同时，在 2018 年 6 月，有宣布了七项 AI 原则来指导相关工作，包括人工智能应该对社会有益、避免产生或加强不公平的偏见、被构建和测试以确保安全、对人负责、纳入隐私设计原则、坚持科学卓越的高标准、用于符合这些原则的用途等。并且明确了不会在造成或可能造成整体危害、便于对人造成伤害、违反国际公认规范的信息监视、违反广泛接受的国际法和人权原则这四个应用领域设计或部署人工智能。 总之，AI 的发展和应用必须在道德和法律的框架内进行，以确保其对人类社会产生积极的影响。
2024-10-01
怎么限制大模型的字数
限制大模型的字数可以通过以下几种方式： 1. 调整参数： Temperature：参数值越小，模型返回结果越确定；调高参数值，可能返回更随机、多样化或更具创造性的结果。对于质量保障等任务，可设置更低值；对于诗歌生成等创造性任务，可适当调高。 Top_p：与 Temperature 一起称为核采样技术，用于控制模型返回结果的真实性。需要准确和事实的答案时，调低参数值；想要更多样化答案时，调高参数值。一般建议改变其中一个参数即可。 Max Length：通过调整 Max Length 控制大模型生成的 token 数，有助于防止生成冗长或不相关的响应并控制成本。 2. 了解 token 限制： 不同模型有不同的 token 限制，例如 Claude2100k 模型的上下文上限是 100000 个 token，ChatGPT16k 模型的上下文上限是 16000 个 token，ChatGPT432k 模型的上下文上限是 32000 个 token。 token 限制同时对一次性输入和一次对话的总体上下文长度生效。 3. 遵循最简化原则设置限制条件： 确保拼写正确，例如“Constraints”（限制）。 常见的限制条件包括： 内容长度限制：确保模型输出不超过用户设定的字数或信息量。 内容类型限制：避免生成不恰当或不相关的内容。 逻辑和一致性限制：增强模型处理逻辑关系的能力。 风格和语调限制：使输出符合特定写作风格或语调。
2024-08-29