소스 검색

switch to using BeautifulSoup HTML loader so title is also captured

Doug Danat 1 년 전
부모
커밋
c91a5d8b1f
1개의 변경된 파일2개의 추가작업 그리고 2개의 파일을 삭제
  1. 2 2
      backend/apps/rag/main.py

+ 2 - 2
backend/apps/rag/main.py

@@ -21,7 +21,7 @@ from langchain_community.document_loaders import (
     TextLoader,
     PyPDFLoader,
     CSVLoader,
-    UnstructuredHTMLLoader,
+    BSHTMLLoader,
     Docx2txtLoader,
     UnstructuredEPubLoader,
     UnstructuredWordDocumentLoader,
@@ -404,7 +404,7 @@ def get_loader(filename: str, file_content_type: str, file_path: str):
     elif file_ext == "xml":
         loader = UnstructuredXMLLoader(file_path)
     elif file_ext in ["htm", "html"]:
-        loader = UnstructuredHTMLLoader(file_path)
+        loader = BSHTMLLoader(file_path)
     elif file_ext == "md":
         loader = UnstructuredMarkdownLoader(file_path)
     elif file_content_type == "application/epub+zip":