新穎貢獻
本頁記錄 TinyLoop 的真正創新、對已知想法的權重共享適配，以及應歸功於先前研究之處。分為三類：
- 新穎 — 據我們所知，無先前研究提出此方法
- 新穎機制 — 概念已存在，但權重共享的實作是新的，且消除了原始方法的限制
- Looped 專屬適配 — 概念存在於標準 transformer；我們適配以利用權重共享
新穎：確定性跨迭代誤差對消
內容。 當同一個 INT4 權重在 loop 迭代中被使用 L 次，我們交替 rounding 方向：偶數迭代用標準 round-to-nearest，奇數迭代套用 sign-bit 校正。量化誤差成對對消。
誤差比較：
| 方法 | 誤差增長 | 誰能做到 |
|---|---|---|
| Naive INT4 | O(L) | 任何架構 |
| Stochastic rounding | O(√L) | 僅 looped |
| 確定性對消 | O(1) | 僅 looped |
為何新穎。 自適應 rounding 文獻豐富 — AdaRound、GPTQ、VQRound — 但都針對使用一次的權重做最佳化。無先前研究利用權重共享架構中同一權重被重複使用 L 次的特性，透過刻意交替讓誤差確定性對消。
API。 TINYLOOP_CANCEL_ROUND=1（需含 sign_bit 通道的 v5 .tinyloop 檔）。
新穎：每迭代安全檢查
內容。 decode 期間每個 loop 迭代後，runtime 計算 FP32 residual 的 L2 norm。若超過閾值，立即中止生成。每個 token 有 L 次機會捕捉爆炸或退化的 hidden state，標準 transformer 只有 1 次。
為何新穎。 Parcae 透過 spectral norm 約束分析訓練時穩定性。Parallel Loop Transformer 用 residual norm 做 layer-skipping 判斷。兩者都未部署runtime 中止機制在每次迭代監控 residual 並終止生成。
API。 model.generate(..., safety_check=True, safety_norm_threshold=50.0)
新穎機制：Store-h KV Cache
內容。 不存 K 和 V，改存 pre-QKV hidden state h，在 attention 時重建 K = W_k · h、V = W_v · h。因為 W_k 和 W_v 跨迭代共享，不需額外參數。
相關研究。 DeepSeek MLA 將 KV cache 壓縮為 latent vector 並透過學習的 up-projection 矩陣重建。兩者都消除完整 KV 儲存。關鍵差異：MLA 需要訓練過的壓縮/解壓矩陣；Store-h 不需額外參數 — 重建使用模型已有的共享 QKV 權重。
成果。 INT4-h 模式下 KV VRAM 最多節省 78%，零額外參數。
新穎機制：Rewind Speculation
內容。 低深度 draft（L=2）被高深度 verify（L=8）拒絕時，檢查中間深度（L=4）是否會與 verify 一致。
相關研究。 HiSpec（2025 年 10 月）用 early-exit 模型做分層驗證 — 概念類似但需要不同的模型。TinyLoop 的 rewind 在每個深度用相同權重 — 無額外模型、無額外記憶體、無需訓練。
成果。 H100 / 2B INT4 上 88.9% rewind 命中率。
新穎機制：Per-Token L 排程
內容。 單次 decode 中逐 token 變化 loop 深度：前 N 個 token 用 L=2（便宜 warmup），後續 token 用 L=8。
相關研究。 LoopFormer（2026 年 2 月，ICLR 2026）引入 elastic-depth looped transformer。其限制明確指出：「全域（序列層級）而非 instance/token 自適應預算。」 TinyLoop 的 L 排程在單次 decode 內以 per-token 粒度控制深度，無需訓練。
成果。 H100 上 warmup token 快 ~3.3×。
新穎洞察：LoRA 放大效應
內容。 應用於 loop block 的 rank-r LoRA adapter 在前向傳播中貢獻 L 次，使 PEFT 的參數效率比標準 transformer 高 L 倍。
重要性。 在 24 層標準 transformer 中，一層上的 LoRA 影響 1/24 的計算。在 TinyLoop L=8 時，loop block 上的 LoRA 影響 100% 的 loop 計算。在我們的 2B 模型上：16,384 參數（0.03 MB）控制 8 次完整迭代的計算。
成果。 L=16 時，16K LoRA 參數控制的計算量是標準 transformer 一層相同參數的 16 倍。
Looped 專屬適配：Self-Speculative Decoding
內容。 用 L=2 做 draft model、L=8 做 verifier，相同權重。
先前研究。 Draft & Verify（Zhang et al., 2024）透過 layer skipping 引入 self-speculative decoding。概念非新。TinyLoop 的貢獻是機制：透過 loop count 旋鈕做深度變化，比 layer skipping 更乾淨。
成果。 H100 / 407M 上 2.77× 吞吐，零額外參數。
總結
| 功能 | 新穎度 | 關鍵差異 |
|---|---|---|
| 確定性誤差對消 | 新穎 | 無先前研究對重複使用的權重做交替 rounding |
| 每迭代安全檢查 | 新穎 | 已部署的 runtime 中止，非訓練時分析 |
| Store-h KV cache | 新穎機制 | 類似 MLA 但不需額外投影矩陣 |
| Rewind speculation | 新穎機制 | 類似 HiSpec 但相同權重，無額外模型 |
| Per-token L 排程 | 新穎機制 | 類似 LoopFormer 但 per-token，非 per-sequence |
| 雙位元權重交換 | 新穎 | 無先前研究對共享權重做逐迭代位寬選擇 |
| L-aware 批處理 | 新穎 | 無先前研究在同一 batch 中以共享權重做每請求不同深度 |
| 動態 L 推理 | 新穎能力 | 同一模型 L=2..64 — 每請求、每 token 深度 |
| LoRA 放大效應 | 新穎洞察 | Loop block 的 rank-r LoRA 參數效率為 L 倍 |
| 三位元權重交換 | 新穎機制 | INT8/INT2/INT4 逐迭代位寬選擇 |
| Self-speculative decoding | 適配 | 類似 Draft & Verify 但透過深度旋鈕，非 layer skip |