淘宝MNN团队开源0.3B手机模型，iPhone 18 Pro离线解码约350 token/s
Miranda 淘宝旗下MNN团队11月6日发布MNN-Pocket-0.3B模型，面向手机应用的任务需求与资源预算设计。该模型参数量约3亿，重点支持中文和英文，并针对有限算力、内存和能耗进行优化。
团队给出的设计目标包括：指定设备下解码吞吐超过200 token/s、峰值内存低于300MB、单次推理增量能耗不超过参考手机电池能量的万分之一，以及能力上接近8B级模型。MNN-Pocket-0.3B在苹果iPhone 18 Pro上通过MNN推理引擎完全离线运行，平均解码速度约350 token/s。
部署方面，INT4 MNN版本文件体积为173MB。测试中，iPad Pro M5搭配Metal后端，在512 token配置下Prefill吞吐为8,721 token/s，Decode吞吐为466 token/s，约为同条件下Qwen3-0.6B的1.63倍。Snapdragon 8 Gen 5的CPU后端Decode吞吐为251 token/s。相比Qwen3-0.6B，该模型部署体积减少约49%，峰值内存增量减少约47%。
模型采用28层结构，结合分组查询注意力，词表从约151K精简至64K。团队在一加13上测试，CPU4线程、输入1024和输出128基准负载下，平均增量能耗约2.7J/轮，100次同等任务约占电池总电量的0.3%。评测中，英文IFEval得分为73.20，中文指令遵循IFEval-zh得分为74.59，11项评测平均得分50.00。
MNN团队开源了Base、SFT、通用指令、MNN量化、DFlash2和Dec等版本，供研究者和开发者继续训练、评测或构建应用。开源地址为https://github.com/alibaba/mnn。
