模型架構環境變數
| 變數 | 值 | 效果 |
|---|---|---|
TINYLOOP_USE_ROPE | 1 | 啟用旋轉位置編碼。所有前向路徑。 |
TINYLOOP_ROPE_THETA | float | RoPE 基底頻率(預設 10000.0)。 |
TINYLOOP_N_KV_HEADS | int | GQA:KV head 數量。 |
TINYLOOP_POST_NORM | 1 | 使用 post-norm。 |
TINYLOOP_USE_GELU | 1 | 使用 GeLU。 |
| 變數 | 值 | 效果 |
|---|---|---|
TINYLOOP_USE_ROPE | 1 | 啟用旋轉位置編碼。所有前向路徑。 |
TINYLOOP_ROPE_THETA | float | RoPE 基底頻率(預設 10000.0)。 |
TINYLOOP_N_KV_HEADS | int | GQA:KV head 數量。 |
TINYLOOP_POST_NORM | 1 | 使用 post-norm。 |
TINYLOOP_USE_GELU | 1 | 使用 GeLU。 |