MiniCPM 是面壁智能于 2 月 1 日发布的旗舰端侧模型。它以小博大,性能超越了 Mistral-7B,在 MT-Bench 等榜单上表现出色。MiniCPM 是一款能说会看、具备编程能力、拥有多模态能力的端侧模型。它不仅性能优秀,而且成本极低,支持 CPU 推理,并且已经开源,在主流移动操作系统上进行了适配和测试。然而,在手机使用场景中,由于存在耗电、速度、内存卡顿等问题,如果不能提供足够的独特价值且无法关闭相关功能,可能吸引力不足。人的自然对话通常需要 10 个 tokens 每秒左右,但即使考虑到背景,像 CPM 这样的小模型在端上做出具有良好自然阅读速度的生成仍有挑战。
但是人的自然对话需要10个tokens每秒左右,但使用场景中你需要展示出来,大家需要规划10个tokens。所以看起来,即使是CPM这样的小模型,即使在考虑到背景的情况下,也不能在端上做出非常好的自然阅读速度的生成。编者按:2月1日,面壁智能发布了旗舰端侧模型MiniCPM,它以小博大的性能超越了Mistral-7B,并在MT-Bench等榜单上表现出色。MiniCPM是一款能说会看、具备编程能力、拥有多模态能力的端侧模型。它不仅在性能上优秀,而且具有极低的成本,支持CPU推理。MiniCPM开源,并已在主流移动操作系统上进行了适配和测试。手机的使用场景方面,虽然在research paper上说可以用,但是在需要考虑耗电和速度的时候,它似乎并没有那么吸引人。所以如果厂家在手机上做这个生文功能,如果不能提供足够的不同的价值,其实还是挺没有吸引力的。因为它会快速耗尽你的电量,这是一个非常严重的问题。同时,需要的内存会变卡顿。而且,如果这个功能不能关闭,那它有什么意义呢?