Richard Lyons 8 hónapja
szülő
commit
885cf45087
1 módosított fájl, 2 hozzáadás és 2 törlés
  1. 2 2
      server/sched.go

+ 2 - 2
server/sched.go

@@ -736,8 +736,8 @@ func pickBestFullFitByLibrary(req *LlmRequest, ggml *llm.GGML, gpus gpu.GpuInfoL
 func pickBestPartialFitByLibrary(req *LlmRequest, ggml *llm.GGML, gpus gpu.GpuInfoList, numParallel *int) gpu.GpuInfoList {
 	if *numParallel <= 0 {
 		*numParallel = 1
-                req.opts.NumCtx = req.origNumCtx
-        }
+		req.opts.NumCtx = req.origNumCtx
+	}
 	byLibrary := gpus.ByLibrary()
 	if len(byLibrary) <= 1 {
 		return gpus