100 万 tokens 具有以下重要意义和影响:
算法视角:更宽的上下文窗口允许模型在推理时纳入训练数据中未找到的大量新的、特定于任务的信息,从而提高各种自然语言或多模式任务的性能……对越来越长的上下文进行数据建模的能力follow了这个发展历程:从Shannon 1948提出的2-gram语言模型、到1990年代和2000年代的现代n-gram模型(5个上下文token),2010年代的循环神经网络(RNN)达到数百个token(Jozefowicz等),到2023年Anthropic将上下文扩展到几十万token。产品视角:长上下文意味着LLM理解能力增强。从提示词到RAG,都是为了增加给模型的上下文,进而让需求更明确,让模型理解得更好。从用数据训练模型、到指令微调,到提示词和RAG,到大模型的超长下文,机器越来越像人了。提示词和RAG正在快速被弱化,但出于工程和商业考量,目前在很多领域还是主流,未来依然可能是一个混合状态。模型上下文长度覆盖了书籍、电影、长视频等产品的通用长度,应该会引发相关链路上产品交互层的变化,这一点值得观察。One more thing:在公众号发送“1.5",获取Gemini1.5技术报告的中英文版。-END-
原创李光华DavidLee David的AI全景图2024-02-25 18:58北京原文地址:https://mp.weixin.qq.com/s/JO3LrZTN0haIr6cNOAXhxAGemini1.5在2月15日的更新非常重磅,不然也不会触发OpenAI武器库中的Sora发布。继续践行Learn in public精神,分享一下当时看Gemini blog和技术报告的笔记。[heading3]1、Gemini1.5相比于Gemini1.0的主要更新:[content]1.5 Pro的质量与1.0 Ultra相当,而计算量却更少。支持100万token,可以以一次性处理大量信息:比如1小时的视频,11小时的音频,超过30,000行代码或超过700,000个单词的代码库。
Claude-2-100 k模型的上下文上限是100k Token s,也就是100000个TokenChatGPT-16 k模型的上下文上限是16k Token s,也就是16000个TokenChatGPT-4-32 k模型的上下文上限是32k Token s,也就是32000个Token但似乎很多小伙伴不理解这个限制具体影响在哪些方面。所以我替你们问了一下GPT从回答可以看出,这个Token限制是同时对下述两者生效的:一次性输入一次对话的总体上下文长度,值得注意的是这个长度不是达到上限就停止对话,而是遗忘最前面的对话,你可以理解为鱼的记忆只有7秒,第8秒的时候他会忘记第1秒的事,第9秒的时候……(某些同学是不是恍然大悟了)三、怎么看我使用了多少Token如果我们想要直观的查看GPT是如何切分token的话,我们可以打开:[https://platform.openai.com/tokenizer](https://platform.openai.com/tokenizer)在下图可以看到实时生成的tokens消耗和对应字符数量请注意,GPT3和GPT3.5/4的token计算方式是不一样的。(GPT3用的编码是p50k/r50k,GPT3.5是cl100K_base)在这里值得注意的是,英文的Token占用相对于中文是少很多的,这也是为什么很多中文长Prompt会被建议翻译成英文设定,然后要求中文输出的原因。四、Token限制对Prompt编写有什么影响当你理解了前面的一、二、三之后,这个问题的答案应该已经在你脑子里有雏形了: