OpenBMB 发布 MiniCPM-V 4.7

追尾巴的貓

OpenBMB 发布 MiniCPM-V 4.7

首个能在手机本地流畅运行、且不牺牲性能的开源 MoE 多模态模型，35B-A3B 参数，在 iPhone 17 Pro Max 上仅占 3 GB 内存，解码速度 13+ tokens/s
https://huggingface.co/collections/openbmb/minicpm-v-47

# 两项关键技术需要关注

1. LES（前瞻专家调度），让 35B 模型装进 3GB 内存
这是最核心的工程突破。原理并不神秘：MoE 模型的专家权重不必全部驻留内存，可以放在闪存里按需加载，但随机加载会造成明显卡顿。LES 通过跨层路由预测（预判下一层会用到哪些专家并提前加载，同时优先计算已在内存中的专家）把加载停顿大幅压低，配合量化和存储布局优化，在真实设备上取得约 5 倍加速。这本质上是把瓶颈从“内存容量”转移到了“闪存带宽 + 预测命中率”，属于系统层面的创新而非模型结构创新。

2. SRFT（自回放微调），解决定制化时的灾难性遗忘
面向开发者的微调方案，思路相当优雅：微调窄任务前，先让模型自己为一批覆盖原有能力的通用 prompt 生成回答，经拒绝采样筛选后，以 Task:Replay = 4:1 混入任务数据做普通 SFT。训练流程完全不变，只改数据。关键洞察在于标签必须 on-policy（来自模型自身的分布）；消融实验显示，同样的数据量，自生成标签把通用能力退化压到 1.58 分，外部标签只能压到 5.58。跨四个模型验证，遗忘降低 80%–99%，任务性能基本无损。