限流

限流按账户计，每个窗口两个维度：请求数与 token 数。窗口在本请求到达时已超出预算即拒绝，请求不会到达模型。

维度

  • 请求数（RPM）：按准入的请求数计数
  • token 数（TPM）：准入时按预估扣减，请求完成后按响应的实际 usage 回填校正，长输出不会被入场时的估计误伤

被限流时

{
  "error": {
    "type": "rate_limit_error",
    "code": "rate_limit_exceeded",
    "message": "Rate limit exceeded for window 'per-minute' (60 requests per 60 seconds); wait the Retry-After delay and retry"
  },
  "request_id": "req-…"
}

响应头携带 Retry-After（秒数）与 X-RateLimit-*；按 Retry-After 退避后重发原请求即可，重新认证与修改请求都不改变该结果。窗口与额度由运营方按账户配置，门户可查看名下的限额配置。