不切模型，改数据怎么流｜FreeToken 源码级拆解

📋总体概括

本期内容是对开源 MoE 推理引擎 FlashML-org/FreeToken 的源码级静态拆解，项目规模达591个文件、139,558行代码（含CUDA内核），并有1,164个测试用例。其核心思路是不切小模型，而是改变数据流动方式，让消费级显卡跑前沿大模型。文中重点解析三个关键设计：基于 PCIe 带宽与 CPU 带宽比例的 q⋆ 带宽自适应调度、以 4096 对齐优化大块直读的 FTW 张量格式，以及面向 agent 场景的工具调用锚点机制。