Ver Fonte

num parallel embed

Roy Han há 9 meses atrás
pai
commit
2647a0e443
1 ficheiros alterados com 2 adições e 0 exclusões
  1. 2 0
      server/sched.go

+ 2 - 0
server/sched.go

@@ -132,6 +132,8 @@ func (s *Scheduler) processPending(ctx context.Context) {
 			if len(pending.model.ProjectorPaths) > 0 && numParallel != 1 {
 				numParallel = 1
 				slog.Warn("multimodal models don't support parallel requests yet")
+			} else if strings.Contains(pending.model.Config.ModelFamily, "bert") {
+				numParallel = runtime.NumCPU()
 			}
 
 			for {