Переглянути джерело

check other request fields before load short circuit in `/api/generate`

Jeffrey Morgan 1 рік тому
батько
коміт
9b12a511ca
1 змінених файлів з 2 додано та 1 видалено
  1. 2 1
      server/routes.go

+ 2 - 1
server/routes.go

@@ -223,7 +223,8 @@ func GenerateHandler(c *gin.Context) {
 			ch <- r
 		}
 
-		if req.Prompt == "" {
+		// an empty request loads the model
+		if req.Prompt == "" && req.Template == "" && req.System == "" {
 			ch <- api.GenerateResponse{Model: req.Model, Done: true}
 		} else {
 			if err := loaded.llm.Predict(c.Request.Context(), req.Context, prompt, fn); err != nil {