面壁智能与OpenBMB开源MiniCPM-V 4.7，35B MoE模型手机断网可跑

面壁智能和OpenBMB正式开源了MiniCPM-V 4.7，包含35B-A3B和1B两个版本。其中35B-A3B总参数35B、每次推理只激活约3B，是MiniCPM-V系列的第一个MoE模型；1B版本实际参数为1.3B，主打极小体积，覆盖OCR、数学和视频理解。

报道称35B-A3B大约只需3G内存就能在iOS、安卓设备上流畅运行，在iPhone 17 Pro Max上仅占约3G内存时解码速度可达每秒13个token以上。这些数字来自厂商与报道方自述，属于source_claim，并非第三方独立验证的结果。

一个35B模型为何能压缩到3G内存运行，报道给出的解释是MoE架构下每次推理只激活约3B参数，加上逐层混合精度量化把专家权重压得更小，再配合权重连续存储布局减少零散读取。但3G内存口径未说明具体量化精度、上下文长度与设备内存占用范围，12GB内存手机能否稳定流畅运行仍不明确。

报道展示了断网状态下的端侧演示：在iPhone 17 Pro Max上，模型对拿破仑远征俄国行军路线图给出最低气温零下37.5摄氏度、日期1812年12月6日的答案；同一张停车标志照片与同一问题下，未优化模型约每秒2个token，优化后达到每秒8至12个token。在iPad Pro M4上跑同一道拿破仑题，答案一致。

这些演示为厂商或媒体自行测试，测试条件与可复现性未公开。每秒13个token以上的解码速度在不同设备、不同上下文长度下能否保持，缺乏独立测试。

报道还提到，在16GB内存的iPad Pro M4上，前瞻专家调度方案综合提升约5倍解码速度；在16GB内存的M5 Mac测试中，接入DSpark草稿模型后解码速度平均进一步提升17%。这些效果数据同样由团队自测给出，无外部对照实验。

报道给出35B-A3B的基准分数：MMBench 91.72、MMStar 80.67、MMMU 80.22、MathVista 88.00、Video-MME 76.40、LongVideoBench 68.90。在OmniDocBench v1.6上拿到94.24分，报道称另外四个模型都在80分上下、领先12分以上。纯文本能力上，中文知识CMMLU为90.21，工具调用τ2-Bench为84.65，报道称均为表内最高。

视觉压缩开到16倍后，MMBench从91.72降到90.87，OCRBench从91.20降到90.40，报道据此称省下来的算力几乎没有拿精度去换。但视觉压缩16倍时精度几乎不掉的结论是否在更广泛任务上成立，尚待验证。

这些基准分数未说明评测配置、提示词、对比模型版本等细节，横向领先结论难以独立核对。各基准分数是否在统一评测协议下取得、是否与同尺寸模型公平对比，无法确认。

前瞻专家调度（LES）利用相邻两层输入特征相似的特点，在当前层计算时把路由输入特征送进下一层路由器，提前预测并预取下一层专家权重。团队测试中能提前备好超过80%的所需专家，且无需额外训练。预测只负责提前搬运和安排计算顺序，最终每个token使用哪些专家仍由模型原有路由机制决定。

团队还训练了配套的DSpark草稿模型并接入llama.cpp等端侧推理框架，由草稿模型先提出多个token，再交给主模型批量核验。在16GB内存的M5 Mac测试中，解码速度平均进一步提升17%。

针对微调后通用能力遗忘的问题，面壁推出自回放微调（Self-Replay Fine-Tuning）：在微调前让模型回答覆盖原有能力的问题，筛选高质量回答混入新任务训练数据。报道称该方法沿用标准微调流程，无需修改模型结构或损失函数，回放数据只需生成一次即可重复使用。但自回放微调相比在线强化学习、On-Policy Distillation的实际成本与效果差异，缺少独立评估。

MiniCPM-V 4.7支持iOS、安卓和鸿蒙部署，发布当天完成瑞芯微、后摩、Intel、AMD和Arm等芯片平台适配，推理框架支持SGLang、vLLM、llama.cpp和Ollama。发布当天完成多家芯片平台适配的实际可用程度与性能表现，未提供细节。

报道引用IDC预计称，2026年中国新一代AI手机出货量将达到1.47亿台，同比增长31.6%，渗透率首次突破53%。面壁智能CEO李大海表示，2026年是端侧AI规模化落地的元年。

报道还提到，内存持续涨价，12GB已成AI手机及格线，旗舰普遍标配16GB，部分机型开始往24GB上探。iPhone 17 Pro Max的内存是12GB，而35B-A3B大约3G内存就能流畅运行。从更长远看，端侧AI的竞争重点正从芯片制程和算力，转向模型与推理框架能否跟硬件配合好。