准入控制與 Prometheus 指標
准入控制
當佇列深度超過 TINYLOOP_MAX_QUEUE_DEPTH 時回傳 HTTP 503。
若設定 TINYLOOP_DEFAULT_SLO_MS，排程器用 EMA 預測器估算延遲。預測超出 SLO 時以 AdmissionRejected 拒絕。
Prometheus 指標
| 指標 | 類型 | 說明 |
|---|---|---|
tinyloop_queue_depth | Gauge | 目前佇列深度 |
tinyloop_request_latency_seconds | Histogram | 請求端到端延遲 |
tinyloop_tokens_generated_total | Counter | 累計生成 token 數 |
tinyloop_admission_rejected_total | Counter | 被拒絕的請求數 |
錯誤模型
| HTTP | 錯誤 | 何時 |
|---|---|---|
| 400 | InvalidRequest | prompt 超過 max_seq_len |
| 503 | QueueFullError | 佇列已滿 |
| 503 | AdmissionRejected | SLO 預測失敗 |