nemo-mbridge-perf-moe-optimization-workflow · AI Skill 用途与安装 · iSkills.cc

按三座墙框架系统地优化MoE模型吞吐量。

分类:测试排错

来源仓库:nvidia/skills

适合用来做什么

  • 如何优化Megatron Bridge中MoE的性能?请给出具体步骤。
  • 请指导我完成MoE性能优化的证据驱动工作流程。

不适合的情况

  • for multi-node scaling, prefer EP over extra TP for expert layers, and add CP when long context makes attention memory dominant.

安装 nemo-mbridge-perf-moe-optimization-workflow

npx skills add https://www.iskills.cc/skills/nvidia/skills/nemo-mbridge-perf-moe-optimization-workflow/SKILL.md

在本机终端执行安装命令。安装前请阅读原始说明,确认所需工具、账号和权限。

查看安装步骤 · 查看常见问题