소스 검색

Alternative Temp Fix: Uncomment to Keep Alive Forever

foraxe 1 개월 전
부모
커밋
04046ed6c8
1개의 변경된 파일1개의 추가작업 그리고 1개의 파일을 삭제
  1. 1 1
      backend/open_webui/routers/ollama.py

+ 1 - 1
backend/open_webui/routers/ollama.py

@@ -1169,7 +1169,7 @@ async def generate_chat_completion(
     prefix_id = api_config.get("prefix_id", None)
     prefix_id = api_config.get("prefix_id", None)
     if prefix_id:
     if prefix_id:
         payload["model"] = payload["model"].replace(f"{prefix_id}.", "")
         payload["model"] = payload["model"].replace(f"{prefix_id}.", "")
-
+    # payload["keep_alive"] = -1 # keep alive forever
     return await send_post_request(
     return await send_post_request(
         url=f"{url}/api/chat",
         url=f"{url}/api/chat",
         payload=json.dumps(payload),
         payload=json.dumps(payload),