面壁智能把 350 亿参数 MoE 大模型 MiniCPM-V 4.7 35B-A3B 跑在手机上,这件事确实实现了技术突破,但它只是端侧大模型落地的起点,距离普通人稳定好用、大规模普及还有不少难关要攻克。这个模型总参数是 350 亿,但它不是全程全部参数都参与计算,依靠混合专家 MoE 架构,每次推理只激活 30 亿参数,配合 LES 调度技术、量化优化,把运行内存占用压到大约 3GB,才能适配手机有限的运行内存。如果不用这套方案,就算做 4 位量化,完整 350 亿参数权重大概有 15GB,普通旗舰手机根本装不下。最开始直接加载方案速度很差,iPhone 17 Pro Max 上每秒只能输出 3 个 token,达不到交互标准,后续持续调优之后,iPhone 18 Pro Max 上速度才做到 30token/s 以上,勉强达到流畅交互门槛。就算现在速度达标,还有硬件适配、功耗控制、长时间稳定运行、软件生态、场景落地一堆问题没有完全解决,所以面壁团队自己也认为,把模型跑起来只是第一步。
一、核心原理:为什么 350 亿参数模型能塞进手机
- 区分两块存储:手机闪存用来存放全部模型文件,运行内存只放当下要计算的专家模块,两者不能混为一谈,3GB 是运行内存占用,不是模型文件大小。
- MoE 混合专家架构:模型拆成很多独立专家模块,提问的时候,系统只挑选少数相关专家参与计算,其余专家存在闪存里,按需调取。
- LES 调度技术:提前预判需要加载哪些专家,减少闪存反复读取带来的等待延迟,相比原始按需加载,推理速度提升明显。
- 量化压缩:在几乎不损失模型效果的前提下压缩权重体积,进一步降低内存开销。
二、当前已经完成的步骤
- 模型版本发布:10 月 13 日开源 MiniCPM-V 4.7,提供 35B-A3B 和轻量化 1B 两个版本,支持 iOS、安卓、鸿蒙多系统和多家芯片。
- 基础推理跑通:在手机、平板设备上完成多模态推理,图文理解能力达到较高水准。
- 性能迭代优化:从早期每秒 3token 的低速版本,迭代优化到 30token/s 以上,满足基础对话交互速度。
三、接下来还要攻克的难点(为什么说只是第一步)
- 功耗压力:高速推理会明显增加手机耗电、发热,长时间连续使用容易降速、卡顿。
- 硬件适配差异:不同品牌、不同芯片的安卓手机内存调度不一样,很多中低端手机没法稳定跑这个模型,目前流畅体验主要集中在高端苹果旗舰。
- 生态适配:手机系统、APP、输入法、相册等应用,还没有配套接口,很难直接把这个模型嵌入日常软件里使用。
- 场景落地:除了简单问答看图,长文档处理、连续多轮对话、复杂创作这类重任务,稳定性和效果还需要打磨。
- 成本与普及:模型文件体积大,对手机闪存、带宽都有要求,想下放到千元机型难度很高。
四、整体结论
这次突破证明了超大参数 MoE 多模态模型可以在手机端本地运行,不用全程依赖云端,对隐私保护、无网络使用都很有价值。但跑通 demo 和做成普通用户随手稳定使用的功能完全是两件事,功耗、兼容、生态、成本都是拦路虎,所以面壁把 350 亿参数模型塞进手机,只算是端侧大模型漫长落地路上的第一步。
【相关 FAQ】
问题 1:面壁 350 亿参数模型能直接在所有手机上流畅跑吗?
回答 1:面壁 350 亿参数模型 MiniCPM-V 4.7 35B-A3B 不能在所有手机流畅跑,目前流畅稳定运行主要是高端旗舰机型,大量中低端手机受内存、芯片、闪存带宽限制,很难达到 30token/s 的流畅速度。
问题 2:面壁这个 350 亿参数模型 3GB 内存是什么意思,模型本身只有 3GB 吗?
回答 2:不是,3GB 指运行时占用的运行内存,面壁 350 亿参数模型完整权重文件体积远大于 3GB,大部分参数存放在手机闪存,只有当下要计算的专家模块加载进运行内存。
问题 3:面壁 350 亿参数模型采用什么方案实现手机端部署?
回答 3:面壁 350 亿参数模型采用 MoE 混合专家架构,搭配 LES 预调度技术加上权重量化方案,按需从闪存加载专家模块,以此控制运行内存占用,实现在手机本地推理。
问题 4:面壁把 350 亿参数模型放进手机之后,下一步重点是什么?
回答 4:面壁把 350 亿参数模型跑通在手机之后,下一步重点是降低推理功耗、扩大不同芯片机型适配范围、完善软件生态,把实验室能力变成普通人日常可用的端侧 AI 功能。
【参考资料】
[2026-11-11](35B 模型跑进手机,面壁智能押注端侧 AI 的下一阶段)每日经济新闻
[2026-11-09](在手机里如何塞下更大的端侧模型?面壁智能提供新答案)界面新闻
[2026-11-05](面壁智能姚远:两年 GPT-6 级 AI 跑在手机上)新浪财经
[2026-10-26](350 亿参数 MoE 流畅进手机,面壁智能 LES 让端侧 AI 迎来历史拐点)凤凰网科技
[2026-10-13](面壁智能发布新一代 MiniCPM-V 4.7:35B 开源大模型无损流畅跑上手机)环球网科技
【免责声明】
以上内容仅为公开行业信息整理,不构成技术投资、产品选购建议;模型实测速度、适配机型、功耗表现会随手机硬件、系统版本、推理框架变化,最终能力以面壁智能官方发布文档和实测为准。
本文来自作者[以太节点]投稿,不代表新投网立场,如若转载,请注明出处:https://www.eastpo.net/shangye/202611/2164.html
评论列表(4条)
我是新投网的签约作者“以太节点”!
希望本篇文章《把350亿参数模型塞进手机,面壁只完成了第一步》能对你有所帮助!
本站[新投网]内容主要涵盖:互联网行业的追踪与探索
本文概览:面壁智能把 350 亿参数 MoE 大模型 MiniCPM-V 4.7 35B-A3B 跑在手机上,这件事确实实现了技术突破,但它只是端侧大模型落地的起点,距离普通人稳定好用、大规模普及还有不少难关要攻克。这个模型总参数是 350 亿,但它不是全程全部参数都参与计算,依靠混合专家 MoE 架构,每次推理只激活 30 亿参数,配合 LES 调度技术、量化优化,把运行内存占用压到大约 3GB,才能适配手机有限的运行内存。如果不用这套方案,就算做 4 位量化,完整 350 亿参数权重大概有 15GB,普通旗舰手机根本装不下。最开始直接加载方案速度很差,iPhone 17 Pro Max 上每秒只能输出 3 个 token,达不到交互标准,后续持续调优之后,iPhone 18 Pro Max 上速度才做到 30token s 以上,勉强达到流畅交互门槛。就算现在速度达标,还有硬件适配、功耗控制、长时间稳定运行、软件生态、场景落地一堆问题没有完全解决,所以面壁团队自己也认为,把模型跑起来只是第一步。