产业观察
Qwen3.8-27B在iPhone 18神经引擎上以15-70 tok/s运行（1.5bpw）
原标题: Qwen3.8-27B在iPhone 18神经引擎上以15-70 tok/s运行（1.5bpw）
📋总体概括
开发者账号anemll在Twitter演示称，27B参数的Qwen大模型通过1.5bpw的极限量化被压进iPhone 18神经引擎本地运行，速度达15-70 tok/s。虽仅12个点赞、2条评论的初步分享，但若属实，意味着旗舰手机NPU已能离线跑下准MoE级27B模型，端侧大模型的参数量门槛被再次推高。
⚡关键信息
- ▸anemll演示Qwen3.8-27B在iPhone 18神经引擎上本地推理
- ▸速度区间为15-70 tok/s，取决于batch与上下文等运行条件
- ▸采用1.5bpw（每权重1.5比特）的极低比特量化压缩模型
- ▸该分享来自Twitter帖，Hacker News讨论热度低（12分2评论），尚待复现验证
- ▸27B级别模型上手机意味着端侧与云端的模型能力差距正在快速收窄
🔥犀利点评
先泼冷水：15-70 tok/s的区间宽得像没说，1.5bpw量化的27B在NPU上跑出这种成绩，最大嫌疑是利用了MoE稀疏性只激活少量参数，否则苹果NPU带宽根本撑不住。其次这是单方推文、无代码无第三方复现，别急着喊革命。但方向是对的：模型小型化+端侧NPU算力增长，正在把「本地跑大模型」从营销话术变成工程现实，值得盯后续开源细节。
📰 相关资讯（与本文相关的其他资讯）
本文由本站自动聚合，以下为原始来源：前往 Hacker News 阅读全文 →