MiniCPM 是面壁智能于 2 月 1 日发布的旗舰端侧模型。它以小博大，性能超越了 Mistral-7B，在 MT-Bench 等榜单上表现出色。MiniCPM 是一款能说会看、具备编程能力、拥有多模态能力的端侧模型。它不仅性能优秀，而且成本极低，支持 CPU 推理，并且已经开源，在主流移动操作系统上进行了适配和测试。然而，在手机使用场景中，由于存在耗电、速度、内存卡顿等问题，如果不能提供足够的独特价值且无法关闭相关功能，可能吸引力不足。人的自然对话通常需要 10 个 tokens 每秒左右，但即使考虑到背景，像 CPM 这样的小模型在端上做出具有良好自然阅读速度的生成仍有挑战。
但是人的自然对话需要10个tokens每秒左右，但使用场景中你需要展示出来，大家需要规划10个tokens。所以看起来，即使是CPM这样的小模型，即使在考虑到背景的情况下，也不能在端上做出非常好的自然阅读速度的生成。编者按：2月1日，面壁智能发布了旗舰端侧模型MiniCPM，它以小博大的性能超越了Mistral-7B，并在MT-Bench等榜单上表现出色。MiniCPM是一款能说会看、具备编程能力、拥有多模态能力的端侧模型。它不仅在性能上优秀，而且具有极低的成本，支持CPU推理。MiniCPM开源，并已在主流移动操作系统上进行了适配和测试。手机的使用场景方面，虽然在research paper上说可以用，但是在需要考虑耗电和速度的时候，它似乎并没有那么吸引人。所以如果厂家在手机上做这个生文功能，如果不能提供足够的不同的价值，其实还是挺没有吸引力的。因为它会快速耗尽你的电量，这是一个非常严重的问题。同时，需要的内存会变卡顿。而且，如果这个功能不能关闭，那它有什么意义呢？