FP16 Body Cache 與 Kernel 融合
| 變數 | 值 | 效果 |
|---|---|---|
TINYLOOP_EXPERIMENTAL_FP16_BODY | 1 | Prefill 30-65× 快、decode ~2.4× 快。 |
TINYLOOP_H_MODE_FP16_ATTN_QKV | 1 | h-mode 下 attn_qkv FP16 常駐。 |
TINYLOOP_FP16_RESIDUAL | 1 | 使用 FP16 殘差流取代 FP32。頻寬減半。所有路徑已接線:decode、prefill、chunked prefill、logit-lens、speculative、safety check。H100 已驗證。 |
TINYLOOP_FUSED_LN_QKV | 1 | 融合 LN + INT4 QKV GEMM。實驗性。 |