nemo-mbridge-perf-tp-dp-comm-overlap 是配置训练计算与通信重叠的 Skill。它整理张量、数据和流水线并行中的设置,让通信有机会与计算同时推进。
写了开启参数,不说明运行就生效。主文列出序列并行和 Transformer Engine 等前提,还说明流水线重叠与虚拟流水线配置有关,不能只看一个布尔值。
通信桶大小在这里按参数数量定义,不能直接当字节;精度、启动环境和重叠配置也各有归属。归档中的硬件预设不能无条件搬到另一种模型和设备。
适合已有训练任务中核配置接线和吞吐变化。本文未跑测试或训练,背景引用未展开;单元测试支持设置逻辑,不证明通信真正被隐藏,仍需按相同任务观察实际运行时间与正确性。