分片训练用这Skill对配置

帮你配置Megatron FSDP以替代DDP进行大模型训练,包括配置参数和验证方法。

nemo-mbridge-perf-megatron-fsdp 是配置 Megatron 分片数据并行训练的 Skill。分片把参数、梯度或优化器状态分到设备上,主文连接启用设置、检查点格式和运行验证。

它不是把所有名字含 FSDP 的开关一起打开。主文所述 Megatron FSDP 与 PyTorch FSDP2 路线互斥,还列出检查点格式和部分并行组合约束,要核实际分支。

换配置以后,不只看任务启动,损失是否有限、保存恢复是否匹配都需检查。两卡基础测试可发现接线问题,但不能证明大规模训练吞吐更高或收敛已经正常。

适合已有训练环境里排查分片配置。本文未训练,背景文档与卡片引用未展开;原文代码锚点属于归档分支,不当当前兼容性保证,也不能把减少显存理解成必然提速。

分类:AI 与 Agent

来源仓库:nvidia/skills

适合用来做什么

  • 请提供 Megatron FSDP 的配置选项指南。
  • 如何在 Megatron-Bridge 中启用 FSDP?

安装 nemo-mbridge-perf-megatron-fsdp

npx skills add https://www.iskills.cc/skills/nvidia/skills/nemo-mbridge-perf-megatron-fsdp/SKILL.md

在本机终端执行安装命令。安装前请阅读原始说明,确认所需工具、账号和权限。

查看安装步骤 · 查看常见问题

查看 nemo-mbridge-perf-megatron-fsdp 的用途与原始说明

浏览全部 Skill 指南