这个Skill给模型调用设限额

把 Azure API Management 配置为 AI 网关,管理 AI 模型的缓存、限流和安全策略。

azure-aigateway 指导开发者把 Azure API Management 配置成 AI 网关,用来管理模型、工具和智能体的访问。已有网关之后,可以让 AI 配置后端身份认证、Token 限额、缓存、内容检查和用量记录。

例如多个内部应用共用模型接口时,你可能希望分别控制请求量,并知道消耗发生在哪里。这份 Skill 提供了按用量限制调用和记录 Token 指标的配置方向,也涉及后端选择与负载分配。

它给出的策略顺序是先处理认证,再考虑缓存、用量限制、内容检查、后端选择和指标。语义缓存会尝试复用相似请求的结果,但是否适用取决于业务:需要每次读取最新信息的回答,就要谨慎设计缓存规则,不能直接套用节省成本的宣传数字。

这是网关配置与测试指导,需要 Azure CLI 和对应权限。创建新的 API Management 基础设施要交给 azure-prepare;接口返回成功后,还需要按业务请求验证规则是否实际生效。

分类:部署运维

来源仓库:microsoft/azure-skills

适合用来做什么

  • 配置 Azure API 管理作为 AI 网关,添加 Azure OpenAI 后端。
  • 设置 AI 网关的令牌限制和内容安全策略。

安装 azure-aigateway

npx skills add https://www.iskills.cc/skills/microsoft/azure-skills/azure-aigateway/SKILL.md

在本机终端执行安装命令。安装前请阅读原始说明,确认所需工具、账号和权限。

查看安装步骤 · 查看常见问题

查看 azure-aigateway 的用途与原始说明

浏览全部 Skill 指南