训练通信重叠先核生效的Skill
在Megatron-Bridge中启用TP/DP/PP通信重叠以提升训练吞吐量。
在Megatron-Bridge中启用TP/DP/PP通信重叠以提升训练吞吐量。
分类:AI 与 Agent
来源仓库:nvidia/skills
npx skills add https://www.iskills.cc/skills/nvidia/skills/nemo-mbridge-perf-tp-dp-comm-overlap/SKILL.md
在本机终端执行安装命令。安装前请阅读原始说明,确认所需工具、账号和权限。
在Megatron-Bridge中启用TP/DP/PP通信重叠以提升训练吞吐量。