nemo-mbridge-perf-megatron-fsdp 是配置 Megatron 分片数据并行训练的 Skill。分片把参数、梯度或优化器状态分到设备上,主文连接启用设置、检查点格式和运行验证。
它不是把所有名字含 FSDP 的开关一起打开。主文所述 Megatron FSDP 与 PyTorch FSDP2 路线互斥,还列出检查点格式和部分并行组合约束,要核实际分支。
换配置以后,不只看任务启动,损失是否有限、保存恢复是否匹配都需检查。两卡基础测试可发现接线问题,但不能证明大规模训练吞吐更高或收敛已经正常。
适合已有训练环境里排查分片配置。本文未训练,背景文档与卡片引用未展开;原文代码锚点属于归档分支,不当当前兼容性保证,也不能把减少显存理解成必然提速。