TINYLOOP_LOG_LEVEL | 0 | 1 | 2 | 0 關閉輸出;1(預設)列 model header;2 加上細節。 |
TINYLOOP_CUDA_PROFILE | 1 | benchmark 時列 CUDA event 時間。 |
TINYLOOP_DISABLE_KV_CACHE | 1 | 強制 uncached 生成。parity 測試用。 |
TINYLOOP_DISABLE_WARMUP | 1 | 跳過 cache warmup。 |
TINYLOOP_DISABLE_MMAP | 1 | 關閉 mmap 載入。 |
TINYLOOP_DISABLE_FLASH2_PREFILL | 1 | 關閉 tiled prefill attention。 |
TINYLOOP_DISABLE_CUBLAS_FP16 | 1 | 關閉 cuBLAS FP16 GEMM。 |
TINYLOOP_USE_CUDNN_SDPA | 1 | Prefill 走 cuDNN SDPA graph。 |
TINYLOOP_PREFILL_CHUNK | N | 強制 chunked prefill。 |
TINYLOOP_TOKEN_EXIT | N | Token-stable early-exit。 |
TINYLOOP_CUDA_POOL | 1 | 使用 CUDA 記憶體池(cudaMemPool)取代裸 cudaMalloc。 |
TINYLOOP_TOKENIZER_DIR | 目錄 | GPT-2 BPE 路徑。 |
TINYLOOP_FP16_RESIDUAL | 1 | 使用 FP16 殘差流取代 FP32。buf.main 頻寬減半。H100 已驗證。 |