Timothy J. Baek 6 달 전
부모
커밋
47e4250f58
1개의 변경된 파일1개의 추가작업 그리고 1개의 파일을 삭제
  1. 1 1
      backend/open_webui/apps/retrieval/main.py

+ 1 - 1
backend/open_webui/apps/retrieval/main.py

@@ -667,7 +667,7 @@ def save_docs_to_vector_db(
                 add_start_index=True,
             )
         elif app.state.config.TEXT_SPLITTER == "token":
-
+            tiktoken.get_encoding(app.state.config.TIKTOKEN_ENCODING_NAME)
             text_splitter = TokenTextSplitter(
                 encoding_name=str(app.state.config.TIKTOKEN_ENCODING_NAME),
                 chunk_size=app.state.config.CHUNK_SIZE,