Timothy J. Baek 6 月之前
父节点
当前提交
47e4250f58
共有 1 个文件被更改,包括 1 次插入1 次删除
  1. 1 1
      backend/open_webui/apps/retrieval/main.py

+ 1 - 1
backend/open_webui/apps/retrieval/main.py

@@ -667,7 +667,7 @@ def save_docs_to_vector_db(
                 add_start_index=True,
             )
         elif app.state.config.TEXT_SPLITTER == "token":
-
+            tiktoken.get_encoding(app.state.config.TIKTOKEN_ENCODING_NAME)
             text_splitter = TokenTextSplitter(
                 encoding_name=str(app.state.config.TIKTOKEN_ENCODING_NAME),
                 chunk_size=app.state.config.CHUNK_SIZE,