Richard Lyons vor 8 Monaten
Ursprung
Commit
9352eeb752
1 geänderte Dateien mit 1 neuen und 0 gelöschten Zeilen
  1. 1 0
      server/sched.go

+ 1 - 0
server/sched.go

@@ -736,6 +736,7 @@ func pickBestFullFitByLibrary(req *LlmRequest, ggml *llm.GGML, gpus gpu.GpuInfoL
 func pickBestPartialFitByLibrary(req *LlmRequest, ggml *llm.GGML, gpus gpu.GpuInfoList, numParallel *int) gpu.GpuInfoList {
 	if *numParallel <= 0 {
 		*numParallel = 1
+                req.opts.NumCtx = req.origNumCtx
         }
 	byLibrary := gpus.ByLibrary()
 	if len(byLibrary) <= 1 {