迭代相依啟動尺度

功能

在 looped transformer 中，相同權重套用 L 次 — 但啟動隨每次迭代改變。早期迭代有較大的啟動幅度（建立 context），後期迭代幅度較小（精煉）。量測這些逐迭代尺度能做出更好的量化決策。

啟動幅度從迭代 1 到迭代 4 下降 ~50%，然後穩定。

為何重要

固定量化（所有迭代相同 scale/zero）不是最佳的：

• 早期迭代：大啟動 → 量化誤差是信號的小比例
• 晚期迭代：小啟動 → 相同的絕對量化誤差佔信號更大比例

逐迭代尺度讓你調整有效動態範圍而無需重新量化權重。

如何量測

python tools/measure_iter_scales.py \
    --model model.tinyloop --L 8 --n-calib 20

儲存 JSON 檔案包含逐迭代 scale factors。

與其他功能的關聯

為何僅 looped

標準 transformer 每層有不同權重和不同啟動 — 無法分離兩者效應。Looped transformer 權重跨迭代固定，因此啟動幅度變化純粹來自迭代精煉過程。