소스 검색

enh: min_p

Timothy J. Baek 9 달 전
부모
커밋
8fcb5cee66
1개의 변경된 파일6개의 추가작업 그리고 0개의 파일을 삭제
  1. 6 0
      backend/apps/ollama/main.py

+ 6 - 0
backend/apps/ollama/main.py

@@ -857,6 +857,12 @@ async def generate_chat_completion(
             ):
                 payload["options"]["top_p"] = model_info.params.get("top_p", None)
 
+            if (
+                model_info.params.get("min_p", None)
+                and payload["options"].get("min_p") is None
+            ):
+                payload["options"]["min_p"] = model_info.params.get("min_p", None)
+
             if (
                 model_info.params.get("use_mmap", None)
                 and payload["options"].get("use_mmap") is None