跳至主要内容

設定與架構

啟動​

pip install -r server/requirements.txt
TINYLOOP_MODEL_PATH=/path/model.tinyloop PYTHONPATH=build \
    uvicorn server.app:app --host 0.0.0.0 --port 8000

架構​

FastAPI 單模型服務，三個 endpoint 系列共用一個 engine：

  • /v1/* — OpenAI 相容
  • /api/v0/* — LM Studio 風格
  • /generate* — TinyLoop 原生

單請求 serving，asyncio 佇列，無 continuous batching。

環境變數​

見 Server 與測試。