华为已宣布会在手机端侧搭载大模型，但目前还存在一些问题。目前并没有真正全离线版的大模型产品，端上智能暂时还是噱头。手机厂商的打法基本是大模型放在线上，手机调用，搭配小 AI 做总结等服务。纯粹的端上智能存在几个问题：
[title]AGI万字长文（上）| 2023回顾与反思[heading1]上篇：2023，风暴的前奏[heading2]<5>深度压缩与模型小型化AI Agent之外另一个重要方向，是大模型的小型化。小模型的直接好处就是训练成本和推理的成本量级下降。比如能力相近的LLaMA-7B的训练成本相当于1张A100芯片训练9.3年，而GPT3(175B)则有100年，差了11倍。GPT4的训练成本更是高达6500年！但成本还并不是意义最重大的。“压缩”是LLM模型的最核心能力，所谓“世界模型”就是要将人类的所有知识都压缩到模型中。顺着这条路思考，小型化的意义在于：小型化的模型首次让一个公司、甚至个人可以使用“全人类的知识”。而且，小型化的模型既是上文讲到的“人的模型”的技术基础，又是开启“端上智能”的先决条件。在未来，无论是手机、电脑还是机器人，都可能会配备一个小模型。在这里，可能会出现一个历史的分叉：岔路的一边是“中心化的大一统世界模型”，另一边是“端上智能+人的模型的混合社会”。让我们拭目以待。回到今天，小型化主要有两个阶梯。第一个阶梯的模型参数在6B-7B，这是游戏显卡可以覆盖的范围。最具代表性的是Meta的LLaMA，Mistral7B和国内的智谱；NVIDIA的Chat with RTX，默认搭载的就是Mistral7B。第二个阶梯模型的想象空间更大，它们的参数在1-2B；这个大小就可以在手机和移动硬件上广泛使用了。华为、荣耀、小米、OPPO、VIVO等都已宣布会在手机端侧搭载大模型，目前还只能用最新的骁龙8Gen3旗舰处理器，而且耗能散热都是问题；三星S24上也搭载了Google Gemini Nano。
「通过自定义Prompt，可以瞬间获得极大的扩展能力。」让人感慨传统计算机视觉的口罩模型，需要准备多少数据样本和花费多少时间进行模型训练。如果需求变为安全帽检测呢...这个用来做demo，是「低成本商业验证的最佳方案」。没有比自定义prompt更低成本、又能完整走完整个工程链的测试工具了。拥有强大的Prompt，就能解决大部分问题。随着不同项目落地越来越感叹，90%的问题可以通过一个强大的基础模型（比如GPT-4），结合构建提示词来解决。在剩下的10%中，90%需要挂接自定义知识库由RAG来解决，而「仅有1%的问题」需要算法工程师进行finetune，朝着AGI的方向努力吧。
[title]AGI万字长文（下）| 2024，分叉与洪流[heading1]下篇：2024，分叉与洪流[heading2]<4>端上智能与全天候硬件在AI上发力的还有手机和PC厂商:华为、荣耀、小米、OPPO、VIVO、三星、联想等都已宣布会在手机/PC端侧搭载大模型。这个可能性来自于：2023年下半年“模型小型化”的众多进展（详情见“上篇”）。不过，仔细看来，除了很弱的Nvidia Chat with RTX，目前并没有真正全离线版的大模型产品，端上智能暂时还是噱头。手机和电脑厂商们的打法基本都是大模型还是放在线上，手机和电脑来调用，然后搭配一个小AI做总结等服务。“端”确实“智能”了，但"大脑"还在线上，手机上顶多有个"脑干"。纯粹的端上智能有几个问题：1)离线小模型永远都会和在线大模型有一个代际的能力差距，于是为什么消费者要用一个更傻的模型而不是用线上的模型服务？2)即使是小模型，它目前的耗能和生热仍然难以达到手机要求。3)目前的AI还不是刚需，猎奇成分比较多。4)技术上还不能确认小型化的模型是“真AGI”还是“聊天机器”。所以说，短期内的端上智能仍然会停留在一些个别小市场里。