跳至主要内容

Runtime 與 Dispatch

變數效果
TINYLOOP_LOG_LEVEL0 | 1 | 20 關閉輸出;1(預設)列 model header;2 加上細節。
TINYLOOP_CUDA_PROFILE1benchmark 時列 CUDA event 時間。
TINYLOOP_DISABLE_KV_CACHE1強制 uncached 生成。parity 測試用。
TINYLOOP_DISABLE_WARMUP1跳過 cache warmup。
TINYLOOP_DISABLE_MMAP1關閉 mmap 載入。
TINYLOOP_DISABLE_FLASH2_PREFILL1關閉 tiled prefill attention。
TINYLOOP_DISABLE_CUBLAS_FP161關閉 cuBLAS FP16 GEMM。
TINYLOOP_USE_CUDNN_SDPA1Prefill 走 cuDNN SDPA graph。
TINYLOOP_PREFILL_CHUNKN強制 chunked prefill。
TINYLOOP_TOKEN_EXITNToken-stable early-exit。
TINYLOOP_CUDA_POOL1使用 CUDA 記憶體池(cudaMemPool)取代裸 cudaMalloc。
TINYLOOP_TOKENIZER_DIR目錄GPT-2 BPE 路徑。
TINYLOOP_FP16_RESIDUAL1使用 FP16 殘差流取代 FP32。buf.main 頻寬減半。H100 已驗證。