Forráskód Böngészése

Added support for stop parameter

Simone 2 hónapja
szülő
commit
fb3886cf04
1 módosított fájl, 6 hozzáadás és 0 törlés
  1. 6 0
      backend/open_webui/utils/payload.py

+ 6 - 0
backend/open_webui/utils/payload.py

@@ -230,6 +230,12 @@ def convert_payload_openai_to_ollama(openai_payload: dict) -> dict:
                 "system"
             ]  # To prevent Ollama warning of invalid option provided
 
+    # If there is the "stop" parameter in the openai_payload, remap it to the ollama_payload.options
+    if "stop" in openai_payload:
+        ollama_options = ollama_payload.get("options", {})
+        ollama_options["stop"] = openai_payload.get("stop")
+        ollama_payload["options"] = ollama_options
+
     if "metadata" in openai_payload:
         ollama_payload["metadata"] = openai_payload["metadata"]