以下是一些长文本理解能力较强的 AI 模型:
下表为智谱AI开源的语言模型列表|模型|介绍|上下文token数|代码链接|模型权重下载链接||-|-|-|-|-||ChatGLM2-6B-32k|第二代ChatGLM长上下文对话模型。ChatGLM2-6B-32K在[ChatGLM2-6B](https://huggingface.co/THUDM/chatglm2-6b)的基础上进一步强化了对于长文本的理解能力,能够更好的处理最多32K长度的上下文。具体地,我们基于[位置插值](https://arxiv.org/abs/2306.15595)(Positional Interpolation)的方法对位置编码进行了更新,并在对话阶段使用32K的上下文长度训练。在实际的使用中,如果您面临的上下文长度基本在8K以内,我们推荐使用[ChatGLM2-6B](https://huggingface.co/THUDM/chatglm2-6b);如果您需要处理超过8K的上下文长度,我们推荐使用ChatGLM2-6B-32K。|32K||[Huggingface](https://huggingface.co/THUDM/chatglm2-6b-32k)|魔搭社区|始智社区|启智社区||ChatGLM2-6B-32k-int4|ChatGLM2-6B-32K的int4版本|32K||[Huggingface](https://huggingface.co/THUDM/chatglm2-6b-32k-int4)|魔搭社区|始智社区|启智社区||ChatGLM-6B|第一代ChatGLM对话模型。支持中英双语的对话语言模型,基于[General Language Model(GLM)](https://github.com/THUDM/GLM)架构,具有62亿参数。结合模型量化技术,用户可以在消费级的显卡上进行本地部署。|2K|[ChatGLM](https://github.com/THUDM/ChatGLM-6B)|[Huggingface](https://huggingface.co/THUDM/chatglm-6b)|魔搭社区|始智社区|启智社区|
本次开源的Qwen2.5-1M大模型,我们推出7B、14B两个尺寸,均在处理长文本任务中稳定超越GPT-4o-mini;同时开源推理框架,在处理百万级别长文本输入时可实现近7倍的提速。这也是我们首次将开源Qwen模型的上下文扩展到1M长度。1M长度≈100万个单词≈150万个汉字≈2部《红楼梦》[heading2]长文本处理能力[content]在上下文长度为100万Tokens的大海捞针(Passkey Retrieval)任务中,Qwen2.5-1M能够准确地从1M长度的文档中检索出隐藏信息,仅有7B模型出现了少量错误。对于更复杂的长上下文理解任务,通义官方选择了[RULER](https://github.com/hsiehjackson/RULER)、[LV-Eval](https://github.com/infinigence/LVEval)和[LongbenchChat](https://github.com/THUDM/LongAlign),这些测试集也在[此博客](https://qwenlm.github.io/zh/blog/qwen2.5-turbo/#more-complex-long-text-tasks)中进行了介绍。从这些结果中,我们可以得出以下几点关键结论:1.显著超越128K版本:Qwen2.5-1M系列模型在大多数长上下文任务中显著优于之前的128K版本,特别是在处理超过64K长度的任务时表现出色。2.性能优势明显:Qwen2.5-14B-Instruct-1M模型不仅击败了Qwen2.5-Turbo,还在多个数据集上稳定超越GPT-4o-mini,因此可以作为现有长上下文模型的优秀开源替代。
[heading4]Qwen2.5-1M模型-百万Tokens处理速度提升近7倍[content]版本:7B、14B两个尺寸主要优势:长文本处理能力:在处理长文本任务中稳定超越GPT-4o-mini,首次将开源Qwen模型的上下文扩展到1M长度。推理速度提升:引入基于MInference的稀疏注意力优化,处理1M长度输入序列的预填充速度提升了3.2倍到6.7倍。上下文长度扩展至100万tokens,可处理约150万汉字(相当于2部《红楼梦》)开源平台:Huggingface:https://huggingface.co/spaces/Qwen/Qwen2.5-1M-DemoModelscope:https://www.modelscope.cn/studios/Qwen/Qwen2.5-1M-Demo