jetson-speculative-decoding · AI Skill 用途与安装 · iSkills.cc
在Jetson设备上启用推测解码加速LLM推理。
分类：AI 与 Agent
来源仓库：nvidia/skills
适合用来做什么
- 在 TPOT 成为瓶颈时，如何向 Jetson vLLM 服务器添加 EAGLE-3 推测解码？
- 请指导我使用 draft-model 推测解码来优化 Jetson vLLM 服务器性能。
不适合的情况
- Do not use an Orin NVIDIA-AI-IOT vLLM image on Thor.
安装 jetson-speculative-decoding
npx skills add https://www.iskills.cc/skills/nvidia/skills/jetson-speculative-decoding/SKILL.md在本机终端执行安装命令。安装前请阅读原始说明，确认所需工具、账号和权限。