跳至主要内容

量化環境變數

變數效果
TINYLOOP_CROSS_ITER_ROUND1Stochastic rounding。O(√L) 誤差。需 v5 sign_bit。
TINYLOOP_CANCEL_ROUND1確定性誤差對消。O(1) 誤差。架構獨有。
TINYLOOP_USE_MARLIN1Marlin INT4 tensor-core。21× over naive
TINYLOOP_DUAL_BIT1雙位元交換:載入時複製 loop block 為 INT2。早期迭代 INT2、晚期 INT4。快 3.2%。架構獨有。
TINYLOOP_DUAL_BIT_SWITCHint從 INT2 切換到 INT4 的迭代(預設 3)。
TINYLOOP_TRIPLE_BIT1三位元:在雙位元基礎上加 INT8 用於迭代 0。需 TINYLOOP_DUAL_BIT=1。第一迭代最高品質。