Janas：通过从SSD流式加载专家权重，运行超出内存容量的LLM

📋总体概括

Janas是一个开源项目（GitHub: prabanta-dev/janas），核心思路是让参数量超过内存容量的LLM能够运行：它把模型的专家权重存放在SSD上，推理时按需流式加载到内存。这种做法特别契合MoE架构——每次前向传播只激活部分专家，I/O压力可控，从而用廉价存储换取大模型容量。项目目前在Hacker News获得12分、3条评论，属于早期小众项目，但方向直指大模型本地部署的内存瓶颈。