跳至主要内容

L-Aware 批處理

功能​

同一 generate_batch 呼叫中的多個序列以不同 loop 深度執行。Free tier 以 L=4，pro 以 L=16，enterprise 以 L=32 — 一個模型、一張 GPU、一次 batch。

運作方式​

每個 lane 以自己的 loop 深度執行完整的 forward pass。KV cache 根據每個 lane 的 L 獨立配置。

已驗證​

H100 / 407M 上已驗證 bit-exact：

  • Mixed lane 0（L=4）與獨立 generate(loops=4) 輸出完全相同
  • Mixed lane 1（L=8）與獨立 generate(loops=8) 輸出完全相同

用法​

results = model.generate_batch(
    [free_prompt, pro_prompt, enterprise_prompt],
    per_lane_loops=[4, 16, 32],
    max_tokens=64
)
# results[0] = free tier 輸出（L=4，快速）
# results[1] = pro tier 輸出（L=16，平衡）
# results[2] = enterprise 輸出（L=32，最高品質）

為何僅 looped​

標準 transformer 無法逐請求變化深度。每個序列都必須跑完所有層。要服務不同品質層級，業界部署獨立模型 — 3 個層級需要 3 個模型。TinyLoop 從一組權重服務所有層級，只需變化每個請求的 loop 次數。