Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

长token处理

Answer

以下是关于长 token 处理的相关信息：

通义千问方面：

  • 开源的 Qwen2.5-1M 大模型推出 7B、14B 两个尺寸，在处理长文本任务中稳定超越 GPT-4o-mini，同时开源推理框架，在处理百万级别长文本输入时可实现近 7 倍的提速，首次将开源 Qwen 模型的上下文扩展到 1M 长度。
  • 在上下文长度为 100 万 Tokens 的大海捞针任务中，Qwen2.5-1M 能够准确地从 1M 长度的文档中检索出隐藏信息，仅有 7B 模型出现少量错误。
  • 对于更复杂的长上下文理解任务，通义官方选择了[RULER]、[LV-Eval]和[LongbenchChat]等测试集。
  • Qwen2.5-1M 系列模型在大多数长上下文任务中显著优于之前的 128K 版本，特别是在处理超过 64K 长度的任务时表现出色。Qwen2.5-14B-Instruct-1M 模型不仅击败了 Qwen2.5-Turbo，还在多个数据集上稳定超越 GPT-4o-mini，可作为现有长上下文模型的优秀开源替代。

OpenAI API 方面：

  • 模型通过将文本分解为标记（Token）来理解和处理文本，Token 可以是单词，也可以是字符块。
  • 对于英文文本，1 个 Token 大约相当于 4 个字符或 0.75 个单词。
  • 给定的 API 请求中处理的 Token 数量取决于输入和输出长度，文本提示词和生成的补全合起来不能超过模型的最大上下文长度（对于大多数模型，这是 2048 个 Token，或大约 1500 个单词），可查看分词器工具了解更多信息。
Content generated by AI large model, please carefully verify (powered by aily)

References

通义千问发布一个模型开源两个模型-一个AI视觉智能体能力大幅增强，一个百万Tokens处理速度提升近7倍

本次开源的Qwen2.5-1M大模型，我们推出7B、14B两个尺寸，均在处理长文本任务中稳定超越GPT-4o-mini；同时开源推理框架，在处理百万级别长文本输入时可实现近7倍的提速。这也是我们首次将开源Qwen模型的上下文扩展到1M长度。1M长度≈100万个单词≈150万个汉字≈2部《红楼梦》[heading2]长文本处理能力[content]在上下文长度为100万Tokens的大海捞针（Passkey Retrieval）任务中，Qwen2.5-1M能够准确地从1M长度的文档中检索出隐藏信息，仅有7B模型出现了少量错误。对于更复杂的长上下文理解任务，通义官方选择了[RULER](https://github.com/hsiehjackson/RULER)、[LV-Eval](https://github.com/infinigence/LVEval)和[LongbenchChat](https://github.com/THUDM/LongAlign)，这些测试集也在[此博客](https://qwenlm.github.io/zh/blog/qwen2.5-turbo/#more-complex-long-text-tasks)中进行了介绍。从这些结果中，我们可以得出以下几点关键结论：1.显著超越128K版本：Qwen2.5-1M系列模型在大多数长上下文任务中显著优于之前的128K版本，特别是在处理超过64K长度的任务时表现出色。2.性能优势明显：Qwen2.5-14B-Instruct-1M模型不仅击败了Qwen2.5-Turbo，还在多个数据集上稳定超越GPT-4o-mini，因此可以作为现有长上下文模型的优秀开源替代。

通义千问发布一个模型开源两个模型-一个AI视觉智能体能力大幅增强，一个百万Tokens处理速度提升近7倍

[heading4]Qwen2.5-1M模型-百万Tokens处理速度提升近7倍[content]版本：7B、14B两个尺寸主要优势：长文本处理能力：在处理长文本任务中稳定超越GPT-4o-mini，首次将开源Qwen模型的上下文扩展到1M长度。推理速度提升：引入基于MInference的稀疏注意力优化，处理1M长度输入序列的预填充速度提升了3.2倍到6.7倍。上下文长度扩展至100万tokens，可处理约150万汉字（相当于2部《红楼梦》）开源平台：Huggingface：https://huggingface.co/spaces/Qwen/Qwen2.5-1M-DemoModelscope：https://www.modelscope.cn/studios/Qwen/Qwen2.5-1M-Demo

快速开始

OpenAI API可以应用于几乎所有涉及生成自然语言、代码或图像的任务。我们提供了一系列不同能力级别的[模型](https://ywh1bkansf.feishu.cn/wiki/R70MwasSpik2tgkCr7dc9eTmn0o)，适用于不同任务的，并且能够[微调（Fine-tune）](https://ywh1bkansf.feishu.cn/wiki/ATYCwS5RRibGXNkvoC4ckddLnLf)您自己的自定义模型。这些模型可以用于从内容生成到语义搜索和分类的所有领域。[heading2]提示词Prompts[content]设计提示词本质上就是对模型进行“编程”，这通常是通过提供一些指令或几个示例来完成。这与大多数其他NLP服务不同，后者是为单个任务设计的，例如情绪分类或命名实体识别。相反，补全（Completions）和聊天补全（Chat Completions）几乎可用于任何任务，包括内容或代码生成、摘要、扩展、对话、创意写作、风格转换等。[heading2]标记Token[content]我们的模型通过将文本分解为标记（Token）来理解和处理文本。Token可以是单词，也可以是字符块。例如，单词“hamburger”被分解成标记“ham”、“bur”和“ger”，而很短且常见的单词像“pear”是一个Token。许多Token以空格开头，例如“hello”和“bye”。在给定的API请求中处理的Token数量取决于您的输入和输出长度。作为一个粗略的经验法则，对于英文文本，1个Token大约相当于4个字符或0.75个单词。要记住的一个限制是，您的文本提示词和生成的补全合起来不能超过模型的最大上下文长度（对于大多数模型，这是2048个Token，或大约1500个单词）。可以查看我们的[分词器工具](https://platform.openai.com/tokenizer)来了解有关文本如何转换为Token的更多信息。

Others are asking
飞书多维表格中使用deepseek有100万tokens总量的限制？
飞书多维表格中使用 DeepSeek 有一定的 token 总量限制。DeepSeekR1、V3 模型分别提供了 50 万免费额度和 API 半价活动（算下来 5 元有 100 万）。即日起至北京时间 20250218 23:59:59，所有用户均可在方舟享受 DeepSeek 模型服务的价格优惠。 不同模型的 token 限制有所不同，例如 Claude2100 k 模型的上下文上限是 100k Tokens，即 100000 个 token；ChatGPT16 k 模型的上下文上限是 16k Tokens，即 16000 个 token；ChatGPT432 k 模型的上下文上限是 32k Tokens，即 32000 个 token。 Token 限制同时对一次性输入和一次对话的总体上下文长度生效，不是达到上限就停止对话，而是会遗忘最前面的对话。 如果想直观查看 GPT 如何切分 token，可以打开，在其中可以看到实时生成的 tokens 消耗和对应字符数量。需要注意的是，英文的 Token 占用相对于中文较少，这也是很多中文长 Prompt 会被建议翻译成英文设定然后要求中文输出的原因。
2025-03-07
token与参数的关系
Token 与参数存在密切关系。在大模型中，用于表达 token 之间关系的参数众多，主要指模型中的权重（weight）与偏置（bias）。例如，GPT3 拥有 1750 亿参数，而词汇表 token 数相对较少，只有 5 万左右。 目前使用的大模型存在 token 限制，如 Claude2100k 模型的上下文上限是 100k Tokens（100000 个 token），ChatGPT16k 模型的上下文上限是 16k Tokens（16000 个 token），ChatGPT432k 模型的上下文上限是 32k Tokens（32000 个 token）。这种 token 限制同时对一次性输入和一次对话的总体上下文长度生效，当达到上限时不是停止对话，而是遗忘最前面的对话。 在分词过程中，不同的字符串会被编码为不同的 token，例如字符串“Tokenization”编码到 token30642 及其后的 token1634，token“is”（包括前面的空格）是 318 等。数字的分解可能不一致，如 127 是由 3 个字符组成的 token，677 是 2 个 token 等。 为了让计算机理解 Token 之间的联系，需要把 Token 表示成稠密矩阵向量，这个过程称为 embedding，常见算法包括基于统计的 Word2Vec、GloVe 等，基于深度网络的 CNN、RNN/LSTM 等，基于神经网络的 BERT、Doc2Vec 等。以 Transform 为代表的大模型采用自注意力机制来学习不同 token 之间的依赖关系，生成高质量 embedding。
2025-03-06
Claude3/grok3/Gemini使用API调用时消耗token的价格是？
Claude 3 的 API 调用价格为：每百万输入 token 0.25 美元，每百万输出 token 1.25 美元。可以处理和分析 400 起最高法院案件或 2500 张图片只需 1 美元。相关链接：https://x.com/imxiaohu/status/1768284259792691366?s=20
2025-02-27
大语言模型、多模态、数据、算力、算法、预训练、微调、RAG、自注意力机制、transformer、token、神经网络、向量、scaling law这些内容的含义
以下是对您所提到的这些内容含义的解释： 大语言模型：是一种基于大量文本数据进行训练的语言处理模型，其工作原理包括训练数据、算力、模型参数等。在训练数据一致的情况下，模型参数越大能力越强。 多模态：指能够处理多种不同类型的数据模态，如文本、图像、音频等，并将它们融合进行理解和生成。 数据：是大语言模型训练和应用的基础，包括各种文本、图像、音频等信息。 算力：指用于支持大语言模型训练和运行的计算能力。 算法：是大语言模型实现各种功能的数学和逻辑方法。 预训练：在大语言模型中，先在大规模数据上进行无特定任务的初步训练。 微调：基于通用大模型，针对特定领域任务提供数据进行学习和调整，以适应特定领域的需求。 RAG：检索增强生成，通过引用外部数据源为模型做数据补充，适用于动态知识更新需求高的任务。其工作流程包括检索、数据库索引、数据索引、分块、嵌入和创建索引、增强、生成等步骤。 自注意力机制：是 Transformer 架构中的重要部分，能理解上下文和文本关联，通过不断检索和匹配来寻找依赖关系，处理词和词之间的位置组合，预测下一个词的概率。 Transformer：是大语言模型训练架构，用于翻译等任务，具备自注意力机制。 Token：在自然语言处理中，是文本的基本单位。 神经网络：是大语言模型的基础架构，模拟人脑神经元的连接和信息处理方式。 向量：在大语言模型中，用于表示文本等数据的数学形式。 Scaling Law：关于大语言模型规模和性能之间关系的规律。
2025-02-18
大语言模型、多模态、数据、算力、算法、预训练、微调、RAG、自注意力机制、transformer、token、神经网络、向量、scaling law这些内容的含义
以下是对您所提到的这些内容含义的解释： 大语言模型：是一种基于大量文本数据进行训练的语言处理模型，其工作原理包括训练数据、算力、模型参数等。在训练数据一致的情况下，模型参数越大能力越强。 多模态：指能够处理多种不同类型的数据模态，如文本、图像、音频等，并将它们融合进行理解和生成。 数据：是大语言模型训练和应用的基础，包括各种文本、图像、音频等信息。 算力：指用于支持大语言模型训练和运行的计算能力。 算法：是大语言模型实现各种功能的数学和逻辑方法。 预训练：在大语言模型中，先在大规模数据上进行无特定任务的初步训练。 微调：基于通用大模型，针对特定领域任务提供数据进行学习和调整，以适应特定领域的需求。 RAG：检索增强生成，通过引用外部数据源为模型做数据补充，适用于动态知识更新需求高的任务。其工作流程包括检索、数据库索引、数据索引、分块、嵌入和创建索引、增强、生成等步骤。 自注意力机制：是 Transformer 架构中的重要部分，能理解上下文和文本关联，通过不断检索和匹配来寻找依赖关系，处理词和词之间的位置组合，预测下一个词的概率。 Transformer：是大语言模型训练架构，用于翻译等任务，具备自注意力机制。 Token：在自然语言处理中，是文本的基本单位。 神经网络：是大语言模型的基础架构，模拟人脑神经元的连接和信息处理方式。 向量：在大语言模型中，用于表示文本等数据的数学形式。 Scaling Law：关于大语言模型规模和性能之间关系的规律。
2025-02-18
大模型相关术语中，参数和Token分别指什么？
在大模型相关术语中： 参数：主要指模型中的权重（weight）与偏置（bias），大模型的“大”通常体现在用于表达 token 之间关系的参数数量众多，例如 GPT3 拥有 1750 亿参数，其中权重数量达到了这一量级。 Token：大模型有着自己的语言体系，Token 是其语言体系中的最小单元。人类语言发送给大模型时，会先被转换为大模型的语言，这种转换的基本单位就是 Token。不同厂商的大模型对 Token 的定义可能不同，以中文为例，通常 1 Token 约等于 1 2 个汉字。大模型的收费计算方法以及对输入输出长度的限制，通常都是以 Token 为单位计量的。Token 可以代表单个字符、单词、子单词，甚至更大的语言单位，具体取决于所使用的分词方法（Tokenization），在将输入进行分词时，会对其进行数字化，形成一个词汇表。
2025-02-13
帮我搜索一下一个图片处理的AI工具，我记得是以M开头的
以下为您找到一些以 M 开头的图片处理 AI 工具： Midjourney Murf 此外，还有其他一些常见的图片处理 AI 工具，如 DallE、Leonardo、BlueWillow 等。 如果您需要去除图片水印，以下是一些推荐的工具： AVAide Watermark Remover：在线工具，支持多种图片格式，操作简单，还提供去除文本、对象等功能。 Vmake：可上传最多 10 张图片，适合快速去除水印并在社交媒体分享图片的用户。 AI 改图神器：提供智能图片修复去水印功能，支持粘贴或上传手机图像，操作方便。 这些工具各有特点，您可以根据具体需求选择。
2025-03-08
处理excel表格的AI
以下是一些处理 Excel 表格的 AI 工具和相关信息： 1. Excel Labs：这是一个 Excel 插件，基于 OpenAI 技术，新增了生成式 AI 功能，可在 Excel 中直接利用 AI 进行数据分析和决策支持。 2. Microsoft 365 Copilot：微软推出的 AI 工具，整合了包括 Excel 在内的多种办公软件，用户通过聊天形式告知需求，Copilot 自动完成任务，如数据分析、格式创建等。 3. Formula Bot：提供数据分析聊天机器人和公式生成器两大功能，用户能通过自然语言交互式地进行数据分析和生成 Excel 公式。 4. Numerous AI：支持 Excel 和 Google Sheets 的 AI 插件，除公式生成外，还能根据提示生成相关文本内容、执行情感分析、语言翻译等任务。 这些工具通过 AI 技术提升了 Excel 的数据处理能力，未来可能会有更多 AI 功能集成到 Excel 中，进一步提高工作效率和智能化水平。 此外，对于 Excel 与飞书多维表格的比较： Excel 有手就会，但 VBA 进阶版功能门槛高。 对于一些重复工作，AI 能处理 Excel 但较麻烦，而飞书多维表格在某些数据处理功能上能让人偷懒解决。 常见应用场景包括数据整理与分析、内容生成与优化、自动化建议等，两者都能帮助整理数据、做计算、做图表等，但多维表格在某些方面更便捷。
2025-03-06
语音处理 视频处理工具
以下是一些语音处理和视频处理工具的相关信息： Notebook LM： 文字文档处理：可导入人工智能相关的 PDF 格式论文，左侧栏快速加载，提供常见问题解答、学习指南、目录、时间轴、简报文档等功能，对不相关问题会拒绝回复。 视频处理：可复制 YouTube 视频网址链接进行处理，操作与文字文档类似，但文本输出格式存在问题。 音频播客处理：可自定义或使用默认设置生成音频播客，能控制时长范围，最长约 15 分钟，最短 1 2 分钟，生成内容自然。 老金：Voice 语音识别与发送语音 音频处理工具 ffmpeg：点击地址进行安装 讯飞 API key 申请：讯飞免费一年，量很大，足够用。在讯飞上申请一个 API Key，网址为：https://www.xfyun.cn/services/rtasr 。进入控制台创建应用，获取 3 个要用到的 Key。 配置 Cow：打开根目录的 config.json 进行总开关配置，按需配置，开启是 true，关闭是 false。因发送语音不能是语音条，所以只开了语音识别。配置讯飞的 key，进入/chatgptonwechat/voice/xunfei 下的 config.json，把对应的 key 配置进来即可。配置完成，重新扫码登录。 MMVid：一个集成的视频理解系统，能处理和理解长视频内容并进行问答。应用场景包括快速的视频剪辑、快速的图生视频、快速诊断等。由 Microsoft Azure AI 开发，结合了 GPT4V 的能力和其他视觉、音频和语音处理工具，能处理和理解长视频和复杂任务。能够自动识别和解释视频中的元素，如人物行为、情感表达、场景变化和对话内容，从而实现对视频故事线的理解。其核心功能是将视频中的多模态信息（如视觉图像、音频信号和语言对话）转录成详细的文本脚本，这样大语言模型就能够理解视频内容。
2025-02-22
数据处理
数据处理的相关知识如下： 根据《数据安全法》第三条第二款的规定，数据处理指的是“包括数据的收集、存储、使用、加工、传输、提供、公开等”。但在某些情况下，数据处理相对狭义，仅指向数据收集后的存储、使用、加工、公开等行为，不包括数据的收集，以及数据的传输、提供等流转行为。 数据处理是 AIGC 服务的核心环节之一，受到《数据安全法》《个人信息保护法》《网络安全法》等法律法规的规制。AIGC 服务提供者在该环节存在大量法定义务，常见行政法风险包括：开展数据处理活动未依照法律、法规的规定，建立健全全流程数据安全管理制度；未组织开展数据安全教育培训；未采取相应的技术措施和其他必要措施保障数据安全；利用互联网等信息网络开展数据处理活动，未在网络安全等级保护等。 《数据安全法》第一条指出，制定本法是为了规范数据处理活动，保障数据安全，促进数据开发利用，保护个人、组织的合法权益，维护国家主权、安全和发展利益。第二条规定在中华人民共和国境内开展数据处理活动及其安全监管适用本法，在境外开展数据处理活动损害我国相关权益的依法追究法律责任。第三条对数据、数据处理、数据安全进行了定义。此外，还对数据安全工作的决策和协调机构、各地区和部门的职责、相关主管部门和机关的监管职责、个人和组织与数据有关的权益等方面做出了规定。 在 GDPR 通用数据保护条例中，对揭示种族或民族出身，政治观点、宗教或哲学信仰，工会成员等个人数据的处理有禁止规定，但在符合特定情形时不适用，如数据主体明确同意、为实现特定目的必要、保护切身利益必要等。
2025-02-18
通过AI如何来处理Excel数据
以下是一些通过 AI 处理 Excel 数据的工具和方法： 1. Excel Labs：这是一个 Excel 插件，基于 OpenAI 技术，新增了生成式 AI 功能，允许用户在 Excel 中直接利用 AI 进行数据分析和决策支持。 2. Microsoft 365 Copilot：微软推出的 AI 工具，整合了多种办公软件，用户通过聊天形式告知需求，Copilot 可自动完成如数据分析、格式创建等任务。 3. Formula Bot：提供数据分析聊天机器人和公式生成器两大功能，用户能通过自然语言交互式地进行数据分析和生成 Excel 公式。 4. Numerous AI：支持 Excel 和 Google Sheets 的 AI 插件，除公式生成外，还能根据提示生成相关文本内容、执行情感分析、语言翻译等任务。 此外，Chat Excel 也可以帮助处理 Excel 数据，您提出要求，它会逐步进行处理。同时，还可以利用一些其他的 AI 工具和技巧，如 360AI 浏览器实现 AI 内容摘要、问答、思维导图等功能，用通义听悟整理录音笔记等，来辅助处理 Excel 相关的数据工作。随着技术发展，未来可能会有更多 AI 功能集成到 Excel 中，进一步提高工作效率和智能化水平。请注意，以上内容由 AI 大模型生成，请仔细甄别。
2025-02-18
对作为知识库的数据进行预处理，用哪个软件比较哈
以下是一些可用于对作为知识库的数据进行预处理的软件和方法： 1. LangchainchatGLM：对于知识库内容的组织要求较高，无需微调训练，适合有结构、界限分明的数据。可使用langchain库比对字典的关键词keys部分，找到相似度最高的相关keys对应的内容文本，送进提示词模板（prompt_template），然后送到LLM进行后处理。 2. 在检索原理方面，可通过嵌入模型（如Word2Vec、GloVe、BERT）将问题文本转化为向量，用于后续检索。例如，在商业化问答场景中，会对接收的问题进行预处理和向量化。 3. 在创建知识库并上传表格数据时，可通过API获取在线API的JSON数据上传，或手动自定义创建数据表结构和数据。需注意指定语义匹配字段，在响应用户查询时，将用户查询内容与该字段内容进行比较，根据相似度进行匹配。
2025-02-17