跳至主要内容

模型架構環境變數

變數效果
TINYLOOP_USE_ROPE1啟用旋轉位置編碼。所有前向路徑。
TINYLOOP_ROPE_THETAfloatRoPE 基底頻率(預設 10000.0)。
TINYLOOP_N_KV_HEADSintGQA:KV head 數量。
TINYLOOP_POST_NORM1使用 post-norm。
TINYLOOP_USE_GELU1使用 GeLU。