Przeglądaj źródła

Fix max_tokens not being set properly

Alexander 3 miesięcy temu
rodzic
commit
c2e742afe1
1 zmienionych plików z 3 dodań i 0 usunięć
  1. 3 0
      backend/open_webui/utils/middleware.py

+ 3 - 0
backend/open_webui/utils/middleware.py

@@ -666,6 +666,9 @@ def apply_params_to_form_data(form_data, model):
         if "temperature" in params:
             form_data["temperature"] = params["temperature"]
 
+        if "max_tokens" in params:
+            form_data["max_tokens"] = params["max_tokens"]
+
         if "top_p" in params:
             form_data["top_p"] = params["top_p"]