Просмотр исходного кода

do not cache prompt (#2018)

- prompt cache causes inferance to hang after some time
Bruce MacDonald 1 год назад
Родитель
Сommit
a897e833b8
1 измененных файлов с 0 добавлено и 1 удалено
  1. 0 1
      llm/dyn_ext_server.go

+ 0 - 1
llm/dyn_ext_server.go

@@ -181,7 +181,6 @@ func (llm *dynExtServer) Predict(ctx context.Context, predict PredictOpts, fn fu
 		"seed":              predict.Options.Seed,
 		"seed":              predict.Options.Seed,
 		"stop":              predict.Options.Stop,
 		"stop":              predict.Options.Stop,
 		"image_data":        imageData,
 		"image_data":        imageData,
-		"cache_prompt":      true,
 	}
 	}
 
 
 	if predict.Format == "json" {
 	if predict.Format == "json" {