集群有了模型没跑?这个Skill接着部署

在Azure Kubernetes上部署AI模型推理服务。

airunway-aks-setup 帮你在已有 AKS 集群上安装 AI Runway,并完成第一个模型部署。它适合云平台工程师:集群已经建好,接下来需要检查硬件、装控制器、选择推理组件,再把模型跑起来。

它会先确认连接的是哪个集群、有哪些节点和 GPU,再判断硬件与推理方式是否相配。文档给出的一个具体问题是:T4 或 V100 不支持 bfloat16,不能照搬要求这种精度的参数。模型部署卡住,也可能是 GPU 调度或推理组件没准备好。

各阶段都有独立的说明,已经完成的步骤可以核对后跳过,最后再检查部署状态并做简短调用验证。使用需要集群权限和相应命令工具;GPU 资源会产生费用,选型和部署前要明确预算。

如果还没有 AKS 集群,应先完成集群准备。这个 Skill 接手的是从现有集群到模型服务的衔接,不能用“安装成功”代替模型已经可以访问。

分类:部署运维

来源仓库:microsoft/azure-skills

适合用来做什么

  • 请在AKS上设置AI Runway,从裸集群开始。
  • 帮我完成AI Runway在AKS上的完整设置,包括GPU评估。

安装 airunway-aks-setup

npx skills add https://www.iskills.cc/skills/microsoft/azure-skills/airunway-aks-setup/SKILL.md

在本机终端执行安装命令。安装前请阅读原始说明,确认所需工具、账号和权限。

查看安装步骤 · 查看常见问题

查看 airunway-aks-setup 的用途与原始说明

浏览全部 Skill 指南