花几百万买的H100显卡利用率偏低？别急着加卡，问题可能是你的模型没适配硬件。

GPU是算力极强的“大力士”，但需持续“喂数据”。若模型设计导致“算术强度”低（如矩阵维度过窄），GPU会把大量时间花在等数据搬运上，陷入“访存受限”，让顶级算力白白闲置。

为此，英伟达提出“模型-硬件协同设计”，并总结了7条核心准则： 1. 矩阵要“方”：拒绝过窄维度，避免计算量太小。 2. 对齐尺寸：模型维度须是128、256或512的倍数。 3. 拥抱低精度：原生适配NVFP4等低精度计算以大幅提速。 4. 宜宽不宜深：同等参数下，优先设计宽模型而非深模型。 5. 优化MoE：大并发场景改用专家并行（EP）减少通信拥堵。 6. 结构规整：统一层级设计，完美适配流水线并行。 7. 解绑策略：注意力机制与前馈网络采用不同并行策略以降低延迟。

总之，从设计之初就让模型严丝合缝地贴合GPU硬件逻辑，不仅能打破性能瓶颈，更能为企业省下巨额的算力扩容成本。