MoE 路由 · 稀疏激活
MoE（混合专家）像医院分诊：256 个专家摆着，每个 token 进来，路由器只挑少数几个干活，其他休息——这叫稀疏激活。选一种 token（代码/数学/中文/通用），看路由器点亮哪 top-8 个专家，再加上永远在线的共享专家：257 个里只动 9 个，约 3.5%。
演示用预设路由分数模拟（前端跑不了真路由器），激活比例对齐 GLM-5.2 真实配置：
256 选 8 + 1 共享。
来一个 token，路由器选哪几个专家干活：
256 个路由专家
共享专家
(永远亮)
(永远亮)
被选中的 8 个路由专家共享专家休息中（96.5%）
这次推理只激活9/ 257 ≈ 3.5%
GLM-5.2 的真实配置：256 路由专家里每 token 选 top-8，加 1 个共享专家——257 个里只动 9 个，剩下 96.5% 纹丝不动。这就是「参数量 753B，跑起来像个小模型」的秘密。（演示用预设路由分数，非真实模型推理；真实路由器是训练出来的一个小网络。）