华为已宣布会在手机端侧搭载大模型,但目前还存在一些问题。目前并没有真正全离线版的大模型产品,端上智能暂时还是噱头。手机厂商的打法基本是大模型放在线上,手机调用,搭配小 AI 做总结等服务。纯粹的端上智能存在几个问题:
[title]AGI万字长文(上)| 2023回顾与反思[heading1]上篇:2023,风暴的前奏[heading2]<5>深度压缩与模型小型化AI Agent之外另一个重要方向,是大模型的小型化。小模型的直接好处就是训练成本和推理的成本量级下降。比如能力相近的LLaMA-7B的训练成本相当于1张A100芯片训练9.3年,而GPT3(175B)则有100年,差了11倍。GPT4的训练成本更是高达6500年!但成本还并不是意义最重大的。“压缩”是LLM模型的最核心能力,所谓“世界模型”就是要将人类的所有知识都压缩到模型中。顺着这条路思考,小型化的意义在于:小型化的模型首次让一个公司、甚至个人可以使用“全人类的知识”。而且,小型化的模型既是上文讲到的“人的模型”的技术基础,又是开启“端上智能”的先决条件。在未来,无论是手机、电脑还是机器人,都可能会配备一个小模型。在这里,可能会出现一个历史的分叉:岔路的一边是“中心化的大一统世界模型”,另一边是“端上智能+人的模型的混合社会”。让我们拭目以待。回到今天,小型化主要有两个阶梯。第一个阶梯的模型参数在6B-7B,这是游戏显卡可以覆盖的范围。最具代表性的是Meta的LLaMA,Mistral7B和国内的智谱;NVIDIA的Chat with RTX,默认搭载的就是Mistral7B。第二个阶梯模型的想象空间更大,它们的参数在1-2B;这个大小就可以在手机和移动硬件上广泛使用了。华为、荣耀、小米、OPPO、VIVO等都已宣布会在手机端侧搭载大模型,目前还只能用最新的骁龙8Gen3旗舰处理器,而且耗能散热都是问题;三星S24上也搭载了Google Gemini Nano。
「通过自定义Prompt,可以瞬间获得极大的扩展能力。」让人感慨传统计算机视觉的口罩模型,需要准备多少数据样本和花费多少时间进行模型训练。如果需求变为安全帽检测呢...这个用来做demo,是「低成本商业验证的最佳方案」。没有比自定义prompt更低成本、又能完整走完整个工程链的测试工具了。拥有强大的Prompt,就能解决大部分问题。随着不同项目落地越来越感叹,90%的问题可以通过一个强大的基础模型(比如GPT-4),结合构建提示词来解决。在剩下的10%中,90%需要挂接自定义知识库由RAG来解决,而「仅有1%的问题」需要算法工程师进行finetune,朝着AGI的方向努力吧。
[title]AGI万字长文(下)| 2024,分叉与洪流[heading1]下篇:2024,分叉与洪流[heading2]<4>端上智能与全天候硬件在AI上发力的还有手机和PC厂商:华为、荣耀、小米、OPPO、VIVO、三星、联想等都已宣布会在手机/PC端侧搭载大模型。这个可能性来自于:2023年下半年“模型小型化”的众多进展(详情见“上篇”)。不过,仔细看来,除了很弱的Nvidia Chat with RTX,目前并没有真正全离线版的大模型产品,端上智能暂时还是噱头。手机和电脑厂商们的打法基本都是大模型还是放在线上,手机和电脑来调用,然后搭配一个小AI做总结等服务。“端”确实“智能”了,但"大脑"还在线上,手机上顶多有个"脑干"。纯粹的端上智能有几个问题:1)离线小模型永远都会和在线大模型有一个代际的能力差距,于是为什么消费者要用一个更傻的模型而不是用线上的模型服务?2)即使是小模型,它目前的耗能和生热仍然难以达到手机要求。3)目前的AI还不是刚需,猎奇成分比较多。4)技术上还不能确认小型化的模型是“真AGI”还是“聊天机器”。所以说,短期内的端上智能仍然会停留在一些个别小市场里。