跳至主要内容

Endpoint 目錄

OpenAI 相容 (/v1/*)

Endpoint方法說明
/v1/modelsGET列出已載模型
/v1/completionsPOST文字補全
/v1/chat/completionsPOST聊天補全(SSE streaming)

LM Studio 風格 (/api/v0/*)

OpenAI shape + runtime stats + TinyLoop 旋鈕(loops、cache_window 等)。

TinyLoop 原生 (/generate*)

Endpoint說明
/generate基本生成
/generate/streamSSE streaming 生成
/generate/speculativeSelf-speculative decode
/generate/treeTree-speculative decode