소스 검색

Use locally bundled version of the LiteLLM cost map json

Intended to avoid repetitive startup connections by setting `LITELLM_LOCAL_MODEL_COST_MAP="True"`
Self Denial 1 년 전
부모
커밋
802eb3beec
2개의 변경된 파일9개의 추가작업 그리고 1개의 파일을 삭제
  1. 5 1
      .env.example
  2. 4 0
      Dockerfile

+ 5 - 1
.env.example

@@ -9,4 +9,8 @@ OPENAI_API_KEY=''
 
 # DO NOT TRACK
 SCARF_NO_ANALYTICS=true
-DO_NOT_TRACK=true
+DO_NOT_TRACK=true
+
+# Use locally bundled version of the LiteLLM cost map json
+# to avoid repetitive startup connections
+LITELLM_LOCAL_MODEL_COST_MAP="True"

+ 4 - 0
Dockerfile

@@ -31,6 +31,10 @@ ENV WEBUI_AUTH_TRUSTED_EMAIL_HEADER ""
 ENV SCARF_NO_ANALYTICS true
 ENV DO_NOT_TRACK true
 
+# Use locally bundled version of the LiteLLM cost map json
+# to avoid repetitive startup connections
+ENV LITELLM_LOCAL_MODEL_COST_MAP="True"
+
 ######## Preloaded models ########
 # whisper TTS Settings
 ENV WHISPER_MODEL="base"