以下是一些支持超长上下文的大模型:
需要注意的是,token 限制同时对一次性输入和一次对话的总体上下文长度生效。例如,一次性输入不能超过规定的 token 数量,而且随着对话的进行,当达到上限时,会遗忘最前面的对话内容。
支持文本+图像+视频输入,采用early fusion技术整合多模态数据Scout:支持1000万上下文,适合处理超长文本和复杂推理任务Maverick:100万上下文,长记忆优势适配多场景替代RAGBehemoth:2万亿参数级别的大模型在训,已超越GPT-4.5在STEM表现🔗[https://x.com/imxiaohu/status/1908708194312229083](https://x.com/imxiaohu/status/1908708194312229083)详细介绍及评测:🔗[https://www.xiaohu.ai/c/xiaohu-ai/meta-llama-4-1000](https://www.xiaohu.ai/c/xiaohu-ai/meta-llama-4-1000)4⃣️🎥Luma Ray2推出20+专业相机运动功能:文本即可操控专业级镜头运动,如Dolly Zoom、Orbit、Crane等所有镜头支持自由组合,实现复杂动态视觉效果可调节运动角度、速度和方向,适合广告片和电影级创作🔗[https://x.com/imxiaohu/status/1908714140400791555](https://x.com/imxiaohu/status/1908714140400791555)功能详细介绍:🔗[https://www.xiaohu.ai/c/xiaohu-ai/luma-ray2-20](https://www.xiaohu.ai/c/xiaohu-ai/luma-ray2-20)
支持文本+图像+视频输入,采用early fusion技术整合多模态数据Scout:支持1000万上下文,适合处理超长文本和复杂推理任务Maverick:100万上下文,长记忆优势适配多场景替代RAGBehemoth:2万亿参数级别的大模型在训,已超越GPT-4.5在STEM表现🔗[https://x.com/imxiaohu/status/1908708194312229083](https://x.com/imxiaohu/status/1908708194312229083)详细介绍及评测:🔗[https://www.xiaohu.ai/c/xiaohu-ai/meta-llama-4-1000](https://www.xiaohu.ai/c/xiaohu-ai/meta-llama-4-1000)4⃣️🎥Luma Ray2推出20+专业相机运动功能:文本即可操控专业级镜头运动,如Dolly Zoom、Orbit、Crane等所有镜头支持自由组合,实现复杂动态视觉效果可调节运动角度、速度和方向,适合广告片和电影级创作🔗[https://x.com/imxiaohu/status/1908714140400791555](https://x.com/imxiaohu/status/1908714140400791555)功能详细介绍:🔗[https://www.xiaohu.ai/c/xiaohu-ai/luma-ray2-20](https://www.xiaohu.ai/c/xiaohu-ai/luma-ray2-20)
从官方文档可以看到我们目前使用的模型有哪些,以及每个模型的token限制。除此之外,最直观能感受到各类模型token限制的其实是poe:在这里我们看到的16K、32K、100K就是指token上限。Claude-2-100 k模型的上下文上限是100k Tokens,也就是100000个tokenChatGPT-16 k模型的上下文上限是16k Tokens,也就是16000个tokenChatGPT-4-32 k模型的上下文上限是32k Tokens,也就是32000个token但似乎很多小伙伴不理解这个限制具体影响在哪些方面。所以我替你们问了一下GPT(真不懂你们为什么不自己问/手动狗头)从回答可以看出,这个token限制是同时对下述两者生效的:1、一次性输入2、一次对话的总体上下文长度,值得注意的是这个长度不是达到上限就停止对话,而是遗忘最前面的对话,你可以理解为鱼的记忆只有7秒,第8秒的时候他会忘记第1秒的事,第9秒的时候……(某些同学是不是恍然大悟了)