Timothy J. Baek hace 7 meses
padre
commit
47e4250f58
Se han modificado 1 ficheros con 1 adiciones y 1 borrados
  1. 1 1
      backend/open_webui/apps/retrieval/main.py

+ 1 - 1
backend/open_webui/apps/retrieval/main.py

@@ -667,7 +667,7 @@ def save_docs_to_vector_db(
                 add_start_index=True,
             )
         elif app.state.config.TEXT_SPLITTER == "token":
-
+            tiktoken.get_encoding(app.state.config.TIKTOKEN_ENCODING_NAME)
             text_splitter = TokenTextSplitter(
                 encoding_name=str(app.state.config.TIKTOKEN_ENCODING_NAME),
                 chunk_size=app.state.config.CHUNK_SIZE,