Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

长token处理

Answer

以下是关于长 token 处理的相关信息：

通义千问方面：

  • 开源的 Qwen2.5-1M 大模型推出 7B、14B 两个尺寸，在处理长文本任务中稳定超越 GPT-4o-mini，同时开源推理框架，在处理百万级别长文本输入时可实现近 7 倍的提速，首次将开源 Qwen 模型的上下文扩展到 1M 长度。
  • 在上下文长度为 100 万 Tokens 的大海捞针任务中，Qwen2.5-1M 能够准确地从 1M 长度的文档中检索出隐藏信息，仅有 7B 模型出现少量错误。
  • 对于更复杂的长上下文理解任务，通义官方选择了[RULER]、[LV-Eval]和[LongbenchChat]等测试集。
  • Qwen2.5-1M 系列模型在大多数长上下文任务中显著优于之前的 128K 版本，特别是在处理超过 64K 长度的任务时表现出色。Qwen2.5-14B-Instruct-1M 模型不仅击败了 Qwen2.5-Turbo，还在多个数据集上稳定超越 GPT-4o-mini，可作为现有长上下文模型的优秀开源替代。

OpenAI API 方面：

  • 模型通过将文本分解为标记（Token）来理解和处理文本，Token 可以是单词，也可以是字符块。
  • 对于英文文本，1 个 Token 大约相当于 4 个字符或 0.75 个单词。
  • 给定的 API 请求中处理的 Token 数量取决于输入和输出长度，文本提示词和生成的补全合起来不能超过模型的最大上下文长度（对于大多数模型，这是 2048 个 Token，或大约 1500 个单词），可查看分词器工具了解更多信息。
Content generated by AI large model, please carefully verify (powered by aily)

References

通义千问发布一个模型开源两个模型-一个AI视觉智能体能力大幅增强，一个百万Tokens处理速度提升近7倍

本次开源的Qwen2.5-1M大模型，我们推出7B、14B两个尺寸，均在处理长文本任务中稳定超越GPT-4o-mini；同时开源推理框架，在处理百万级别长文本输入时可实现近7倍的提速。这也是我们首次将开源Qwen模型的上下文扩展到1M长度。1M长度≈100万个单词≈150万个汉字≈2部《红楼梦》[heading2]长文本处理能力[content]在上下文长度为100万Tokens的大海捞针（Passkey Retrieval）任务中，Qwen2.5-1M能够准确地从1M长度的文档中检索出隐藏信息，仅有7B模型出现了少量错误。对于更复杂的长上下文理解任务，通义官方选择了[RULER](https://github.com/hsiehjackson/RULER)、[LV-Eval](https://github.com/infinigence/LVEval)和[LongbenchChat](https://github.com/THUDM/LongAlign)，这些测试集也在[此博客](https://qwenlm.github.io/zh/blog/qwen2.5-turbo/#more-complex-long-text-tasks)中进行了介绍。从这些结果中，我们可以得出以下几点关键结论：1.显著超越128K版本：Qwen2.5-1M系列模型在大多数长上下文任务中显著优于之前的128K版本，特别是在处理超过64K长度的任务时表现出色。2.性能优势明显：Qwen2.5-14B-Instruct-1M模型不仅击败了Qwen2.5-Turbo，还在多个数据集上稳定超越GPT-4o-mini，因此可以作为现有长上下文模型的优秀开源替代。

通义千问发布一个模型开源两个模型-一个AI视觉智能体能力大幅增强，一个百万Tokens处理速度提升近7倍

[heading4]Qwen2.5-1M模型-百万Tokens处理速度提升近7倍[content]版本：7B、14B两个尺寸主要优势：长文本处理能力：在处理长文本任务中稳定超越GPT-4o-mini，首次将开源Qwen模型的上下文扩展到1M长度。推理速度提升：引入基于MInference的稀疏注意力优化，处理1M长度输入序列的预填充速度提升了3.2倍到6.7倍。上下文长度扩展至100万tokens，可处理约150万汉字（相当于2部《红楼梦》）开源平台：Huggingface：https://huggingface.co/spaces/Qwen/Qwen2.5-1M-DemoModelscope：https://www.modelscope.cn/studios/Qwen/Qwen2.5-1M-Demo

快速开始

OpenAI API可以应用于几乎所有涉及生成自然语言、代码或图像的任务。我们提供了一系列不同能力级别的[模型](https://ywh1bkansf.feishu.cn/wiki/R70MwasSpik2tgkCr7dc9eTmn0o)，适用于不同任务的，并且能够[微调（Fine-tune）](https://ywh1bkansf.feishu.cn/wiki/ATYCwS5RRibGXNkvoC4ckddLnLf)您自己的自定义模型。这些模型可以用于从内容生成到语义搜索和分类的所有领域。[heading2]提示词Prompts[content]设计提示词本质上就是对模型进行“编程”，这通常是通过提供一些指令或几个示例来完成。这与大多数其他NLP服务不同，后者是为单个任务设计的，例如情绪分类或命名实体识别。相反，补全（Completions）和聊天补全（Chat Completions）几乎可用于任何任务，包括内容或代码生成、摘要、扩展、对话、创意写作、风格转换等。[heading2]标记Token[content]我们的模型通过将文本分解为标记（Token）来理解和处理文本。Token可以是单词，也可以是字符块。例如，单词“hamburger”被分解成标记“ham”、“bur”和“ger”，而很短且常见的单词像“pear”是一个Token。许多Token以空格开头，例如“hello”和“bye”。在给定的API请求中处理的Token数量取决于您的输入和输出长度。作为一个粗略的经验法则，对于英文文本，1个Token大约相当于4个字符或0.75个单词。要记住的一个限制是，您的文本提示词和生成的补全合起来不能超过模型的最大上下文长度（对于大多数模型，这是2048个Token，或大约1500个单词）。可以查看我们的[分词器工具](https://platform.openai.com/tokenizer)来了解有关文本如何转换为Token的更多信息。

Others are asking
在ai context中，token和word的区别是？
在 AI 领域中，Token 和 Word 有以下区别： 定义和范围：Token 通常是大语言模型处理文本数据时的一个单元，在不同语境下，可能代表一个字、一个词、一个句子、标点、词根、前缀等，更加灵活。而 Word 一般指能够表达一定意义的独立单位，如单词。 语言处理：在英文中，一个 Word 通常是一个词或标点符号。在一些汉语处理系统中，一个 Word 可能是一个字或一个词。而 Token 在不同的语言模型和处理系统中，对应的范围和形式有所不同。 作用和意义：Token 不仅是文本数据的单位，还可能携带丰富的语义、句法等信息，在模型中有着对应的向量表示。Word 主要用于传达相对明确和完整的意义。 计算和收费：大模型的收费计算方法以及对输入输出长度的限制，通常是以 Token 为单位计量的。 例如，在处理“ I’m happy ”这句话时，“I”、“’m”、“happy”可能被视为 Token，而“I’m happy”整体可看作一个 Word 。
2025-04-08
在AI生成中，1token大约是多少字符？
在 AI 生成中，对于英文文本，1 个 Token 大约相当于 4 个字符或 0.75 个单词。以中文为例，由于不同厂商的大模型采用了不同的文本切分方法，通常情况下 1 Token 约等于 1 2 个汉字。在 ChatGPT 4 中，“Learning AI Meticulously,Sharing Knowledge Joyfully”这句话被视为 10 个 Token，标点符号单独计算，“Joyfully”被拆分成“Joy”和“fully”。您可以查看 OpenAI 的分词器工具来了解更多关于文本如何转换为 Token 的信息。
2025-03-18
token是什么
在大语言模型领域，Token 通常用来表示文本数据中的一个单元。在不同语境下，一个 token 可能代表一个字、一个词或一个句子。在英文中，一个 token 通常是一个词或标点符号；在一些汉语处理系统中，一个 token 可能是一个字或一个词。Token 是处理和理解文本数据的基本单元。 在深度学习的语言模型中，如 Transformer，输入的文本首先被切分成一系列的 tokens。这些 tokens 被转换成向量，然后被输入到神经网络中进行处理。因此，在这种情况下，token 可以被理解为语言模型接收和处理的最小的信息单元。在训练过程中，每个 token 会关联一个预测，这个预测可以是下一个 token 的预测，也可以是该 token 的属性预测，如词性、情感等。 训练 token 的数量会影响模型的性能和准确性。更多的训练 token 通常意味着更多的训练数据，这可能会提升模型的准确性和泛化能力。然而，处理更多的 token 也会增加计算的复杂性和计算资源的需求。 很多同学把 token 理解为中文语义里的“字节”，这种理解有一定相似度，因为“字节”是计算机存储和处理数据的基本单元，而“token”是语言模型处理文本信息的基本单元。但这种理解不够准确，“Token”在语言模型中的作用比“字节”在计算机中的作用更加复杂和多元。在大语言模型中，“token”不仅代表文本数据中的一个单位，而且每个“token”都可能携带了丰富的语义信息。比如，在处理一句话时，“token”可能表示一个字、一个词甚至一个短语，同时，每个“token”在模型中都有一个对应的向量表示，这个向量包含了该“token”的语义信息、句法信息等。 Unicode 是一种在计算机上使用的字符编码，为每种语言中的每个字符设定了统一并且唯一的二进制编码，以满足跨语言、跨平台进行文本转换、处理的要求。GPT 实际是将我们输入的文字转换成 token，然后通过 GPT 模型预测 token，再将 token 转换成文字，最后再输出给我们。GPT 的输入和输出都是一个个的 token，GPT 适用于几乎所有流行的自然语言，其 token 需要兼容几乎人类的所有自然语言，通过 unicode 编码来实现这个目的。
2025-03-13
飞书多维表格中使用deepseek有100万tokens总量的限制？
飞书多维表格中使用 DeepSeek 有一定的 token 总量限制。DeepSeekR1、V3 模型分别提供了 50 万免费额度和 API 半价活动（算下来 5 元有 100 万）。即日起至北京时间 20250218 23:59:59，所有用户均可在方舟享受 DeepSeek 模型服务的价格优惠。 不同模型的 token 限制有所不同，例如 Claude2100 k 模型的上下文上限是 100k Tokens，即 100000 个 token；ChatGPT16 k 模型的上下文上限是 16k Tokens，即 16000 个 token；ChatGPT432 k 模型的上下文上限是 32k Tokens，即 32000 个 token。 Token 限制同时对一次性输入和一次对话的总体上下文长度生效，不是达到上限就停止对话，而是会遗忘最前面的对话。 如果想直观查看 GPT 如何切分 token，可以打开，在其中可以看到实时生成的 tokens 消耗和对应字符数量。需要注意的是，英文的 Token 占用相对于中文较少，这也是很多中文长 Prompt 会被建议翻译成英文设定然后要求中文输出的原因。
2025-03-07
token与参数的关系
Token 与参数存在密切关系。在大模型中，用于表达 token 之间关系的参数众多，主要指模型中的权重（weight）与偏置（bias）。例如，GPT3 拥有 1750 亿参数，而词汇表 token 数相对较少，只有 5 万左右。 目前使用的大模型存在 token 限制，如 Claude2100k 模型的上下文上限是 100k Tokens（100000 个 token），ChatGPT16k 模型的上下文上限是 16k Tokens（16000 个 token），ChatGPT432k 模型的上下文上限是 32k Tokens（32000 个 token）。这种 token 限制同时对一次性输入和一次对话的总体上下文长度生效，当达到上限时不是停止对话，而是遗忘最前面的对话。 在分词过程中，不同的字符串会被编码为不同的 token，例如字符串“Tokenization”编码到 token30642 及其后的 token1634，token“is”（包括前面的空格）是 318 等。数字的分解可能不一致，如 127 是由 3 个字符组成的 token，677 是 2 个 token 等。 为了让计算机理解 Token 之间的联系，需要把 Token 表示成稠密矩阵向量，这个过程称为 embedding，常见算法包括基于统计的 Word2Vec、GloVe 等，基于深度网络的 CNN、RNN/LSTM 等，基于神经网络的 BERT、Doc2Vec 等。以 Transform 为代表的大模型采用自注意力机制来学习不同 token 之间的依赖关系，生成高质量 embedding。
2025-03-06
Claude3/grok3/Gemini使用API调用时消耗token的价格是？
Claude 3 的 API 调用价格为：每百万输入 token 0.25 美元，每百万输出 token 1.25 美元。可以处理和分析 400 起最高法院案件或 2500 张图片只需 1 美元。相关链接：https://x.com/imxiaohu/status/1768284259792691366?s=20
2025-02-27
处理 excel 表格 的 AI 工具
以下是一些可用于处理 Excel 表格的 AI 工具： 1. Excel Labs：这是一个 Excel 插件，新增了基于 OpenAI 技术的生成式 AI 功能，可在 Excel 中直接利用 AI 进行数据分析和决策支持。 2. Microsoft 365 Copilot：微软推出的整合了 Word、Excel、PowerPoint 等办公软件的 AI 工具，通过聊天形式，用户告知需求后，Copilot 会自动完成任务，如数据分析或格式创建。 3. Formula Bot：提供数据分析聊天机器人和公式生成器两大功能，用户可通过自然语言交互式地进行数据分析和生成 Excel 公式。 4. Numerous AI：支持 Excel 和 Google Sheets 的 AI 插件，除公式生成外，还能根据提示生成相关文本内容、执行情感分析、语言翻译等任务。 5. Ajelix：可处理 Excel 和 Google Sheets 表格的 AI 工具，链接为。 6. FormX.ai：能够自动从表格和文档中提取数据的 AI 工具，链接为。 随着技术的不断发展，未来可能会有更多 AI 功能被集成到 Excel 中，进一步提高工作效率和数据处理的智能化水平。内容由 AI 大模型生成，请仔细甄别。
2025-04-11
LLM模型响应时间较长，如何处理超时时间问题
处理 LLM 模型响应时间过长导致的超时问题，可以考虑以下方法： 1. 参数有效调整：这是一种新颖的微调方法，通过仅训练一部分参数来减轻微调 LLM 的挑战。这些参数可能是现有模型参数的子集，或者是一组全新的参数，例如向模型添加一些额外的层或额外的嵌入到提示中。 2. 优化提示设计：采用合适的提示方法，如零样本提示、一次性提示、Fewshot prompting 等。零样本提示是只给出描述任务的提示；一次性提示是让 LLM 执行任务的单个示例；Fewshot prompting 是让 LLM 执行任务的少量示例。同时，可以使用结构化模式设计提示，包含上下文、问题示例及相应答案等组件，以指示模型应如何响应。 3. 避免频繁调整某些参数：尤其是 Top K 和 Top P，不需要经常对其进行调整。 4. 关注模型响应质量：即使有良好的提示设计，模型输出仍可能不稳定，需要持续关注和优化。 5. 考虑成本和时间：微调大型模型可能耗时且成本高，为大模型提供服务也可能涉及额外麻烦和成本，需要综合评估和优化。
2025-04-11
cursor 长文档处理长文档
以下是关于 Cursor 长文档处理的相关信息： UI 用户界面： 当 Cursor 仅添加其他文本时，补全将显示为灰色文本。如果建议修改了现有代码，它将在当前行的右侧显示为 diff 弹出窗口。 您可以通过按 Tab 键接受建议，也可以通过按 Esc 键拒绝建议。要逐字部分接受建议，请按 Ctrl/⌘→。要拒绝建议，只需继续输入，或使用 Escape 取消/隐藏建议。 每次击键或光标移动时，Cursor 都会尝试根据您最近的更改提出建议。但是，Cursor 不会始终显示建议；有时，模型预测不会做出任何更改。 Cursor 可以从当前行上方的一行更改为当前行下方的两行。 切换： 要打开或关闭该功能，请将鼠标悬停在应用程序右下角状态栏上的“光标选项卡”图标上。 @Docs： Cursor 附带一组第三方文档，这些文档已爬取、索引并准备好用作上下文。您可以使用@Docs 符号访问它们。 如果要对尚未提供的自定义文档进行爬网和索引，可以通过@Docs>Add new doc 来实现。粘贴所需文档的 URL 后，将显示相应模式。然后 Cursor 将索引并学习文档，您将能够像任何其他文档一样将其用作上下文。 在 Cursor Settings>Features>Docs 下，您可以管理已添加的文档，包括编辑、删除或添加新文档。 @Files： 在 AI 输入框中（如 Cursor Chat 和 Cmd K），可以使用@Files 引用整个文件。如果继续在@后键入，将在策略之后看到文件搜索结果。 为确保引用的文件正确，Cursor 会显示文件路径的预览，这在不同文件夹中有多个同名文件时尤其有用。 在 Cursor 的聊天中，如果文件内容太长，Cursor 会将文件分块为较小的块，并根据与查询的相关性对它们进行重新排序。
2025-04-10
关于处理法律事务的提示词
以下是关于处理法律事务的提示词相关内容： 1. 陶力文律师观点：不能期待设计一个完美的提示词让 AI 百分百给出完美答案，应将提示词视为相对完善的“谈话方案”，成果在对话中产生。对于尝试 AI 的朋友，建议多给 AI 几轮对话修正的余地，不要期望一次输入提示词就得到想要的东西。陶律师习惯用的大模型是 KIMI，也可使用 GPT、文心一言、豆包等。其个人 Prompt 库取名为【元始洞玄灵宝枢机 AI 符法集成道藏】，库里每篇灵机符箓命名为【敕令 XXXX】。【箓】描述符箓整体所属、版本，【符】关键，涉及具体操作步骤和方法，开头赋予 AI 身份划定边界。 2. 潘帅观点：律师常用 Prompt 场景包括案例检索和类案检索。案例检索最好使用法律行业垂类的 AI 产品，通用型 AI 可能存在问题。案例检索的 Prompt 指令词结构为【案例领域或类型+明确需要查找的重点内容+查找案例的目的+其他希望 AI 做的事情】，并列举了多个具体例子，如商标侵权案件中“混淆可能性”标准的判例检索等。
2025-04-03
目前的大模型ai工具中 你觉得文本处理 写作这方面那个工具最强 最像人
目前在大模型 AI 工具中，对于文本处理和写作方面，以下是一些相关信息： 生成式人工智能的工作原理：在整体的人工智能领域，监督学习用于标记事物，一直占据很大比例。现在生成式 AI 快速崛起，强化学习与无监督学习也是重要工具。生成式 AI 由监督学习技术搭建，大语言模型使用监督学习不断预测下一个词语来生成文本，这需要大量数据。 大语言模型的应用：运用大语言模型写故事、修改文本很有用，但它可能编造故事产生错误信息，需要鉴别信息准确。网络搜索与大语言模型的区别在于网络搜索可追寻信息来源，大语言模型能提供建议与策略。 写作方面：使用大模型工具如 LLM 来写作，集思广益、头脑风暴非常有用。网页版聊天时提供更多信息，翻译也可使用 LLM，但其效果受网络文本量影响。 推荐的大模型工具：chatGPT 4.0、kimichat、智谱清言 4 等。一些国产模型如智谱和文心可以文生图。 相关工具：除了 Snapbox 外，还有 OpenCAT 等类似工具可供选择。有多种文本处理与总结工具，如 kimi 网页总结助手、ChatHub 等，以及翻译插件与 AI 对话插件、沉浸式翻译插件等。Memo Al 可以对音频视频进行转文字、字幕翻译、语音合成等，并由多种 AI 模型提炼内容精华总结、生成思维导图。 综合来看，不同的大模型工具在文本处理和写作方面各有特点，难以简单地确定哪一个最强、最像人，具体取决于您的需求和使用场景。
2025-04-01
长文本处理
以下是关于长文本处理的相关信息： 通义千问发布了一个模型并开源了两个模型，其中一个在长文本处理方面有显著提升。 开源的 Qwen2.51M 大模型推出 7B、14B 两个尺寸，在处理长文本任务中稳定超越 GPT4omini，同时开源推理框架，在处理百万级别长文本输入时可实现近 7 倍的提速，首次将开源 Qwen 模型的上下文扩展到 1M 长度。在上下文长度为 100 万 Tokens 的大海捞针任务中，Qwen2.51M 能够准确地从 1M 长度的文档中检索出隐藏信息，仅有 7B 模型出现少量错误。对于更复杂的长上下文理解任务，通义官方选择了等测试集。 Qwen2.51M 系列模型在大多数长上下文任务中显著优于之前的 128K 版本，特别是在处理超过 64K 长度的任务时表现出色。Qwen2.514BInstruct1M 模型不仅击败了 Qwen2.5Turbo，还在多个数据集上稳定超越 GPT4omini，可作为现有长上下文模型的优秀开源替代。 此外，还有关于利用 Langchain+Ollama+RSSHub 实现本地部署资讯问答机器人的内容，包括导入依赖库、从订阅源获取内容、为文档内容生成向量等步骤。其中使用了 feedparse 用于解析 RSS 订阅源，ollama 用于在 python 程序中跑大模型，文本向量模型 bgem3 具有支持多语言、长文本输入、集成多种检索能力等特点。
2025-03-31