TinyLoop 框架

低位元權重共享 Transformer 推理的執行時框架。

TinyLoop 是一個專注於 Looped Transformer 的推理框架:完整封裝、文件化、結構化,為採用權重共享架構的團隊而設計,而非通用模型服務。

TinyLoop 的執行時保持明確的觀點:循環重用、低位元權重、清楚的模型格式邊界,以及圍繞該架構打造的部署介面,而非通用 Transformer 堆疊。

重點

執行時 (Runtime)

可重用的 C++ 與 CUDA 執行時,專為權重共享的 Looped Transformer 打造。

CMake 套件、CLI 以及支援最後一個 token 評分的 Python 綁定。

版本化的 .tinyloop 格式,提供明確的載入器驗證與部署文件。

接下來

安裝框架並建置執行時。

直接使用 C++ 與 Python 的公開介面。

了解執行時的佈局與產品方向。