跳至主要内容

FP16 Body Cache 與 Kernel 融合

變數效果
TINYLOOP_EXPERIMENTAL_FP16_BODY1Prefill 30-65× 快、decode ~2.4× 快
TINYLOOP_H_MODE_FP16_ATTN_QKV1h-mode 下 attn_qkv FP16 常駐。
TINYLOOP_FP16_RESIDUAL1使用 FP16 殘差流取代 FP32。頻寬減半。所有路徑已接線:decode、prefill、chunked prefill、logit-lens、speculative、safety check。H100 已驗證。
TINYLOOP_FUSED_LN_QKV1融合 LN + INT4 QKV GEMM。實驗性。