训练通信重叠先核生效的Skill

在Megatron-Bridge中启用TP/DP/PP通信重叠以提升训练吞吐量。

nemo-mbridge-perf-tp-dp-comm-overlap 是配置训练计算与通信重叠的 Skill。它整理张量、数据和流水线并行中的设置,让通信有机会与计算同时推进。

写了开启参数,不说明运行就生效。主文列出序列并行和 Transformer Engine 等前提,还说明流水线重叠与虚拟流水线配置有关,不能只看一个布尔值。

通信桶大小在这里按参数数量定义,不能直接当字节;精度、启动环境和重叠配置也各有归属。归档中的硬件预设不能无条件搬到另一种模型和设备。

适合已有训练任务中核配置接线和吞吐变化。本文未跑测试或训练,背景引用未展开;单元测试支持设置逻辑,不证明通信真正被隐藏,仍需按相同任务观察实际运行时间与正确性。

分类:AI 与 Agent

来源仓库:nvidia/skills

适合用来做什么

  • 请指导如何在Megatron-Bridge中启用TP、DP和PP通信重叠。
  • 通信重叠的配置选项有哪些?

安装 nemo-mbridge-perf-tp-dp-comm-overlap

npx skills add https://www.iskills.cc/skills/nvidia/skills/nemo-mbridge-perf-tp-dp-comm-overlap/SKILL.md

在本机终端执行安装命令。安装前请阅读原始说明,确认所需工具、账号和权限。

查看安装步骤 · 查看常见问题

查看 nemo-mbridge-perf-tp-dp-comm-overlap 的用途与原始说明

浏览全部 Skill 指南