Browse Source

runner.go: Fix off-by-one for num predicted

Jesse Gross 5 tháng trước cách đây
mục cha
commit
d7eb05b936
1 tập tin đã thay đổi với 1 bổ sung1 xóa
  1. 1 1
      llama/runner/runner.go

+ 1 - 1
llama/runner/runner.go

@@ -345,7 +345,7 @@ func (s *Server) processBatch(tokenBatch *llama.Batch, embedBatch *llama.Batch)
 		}
 		}
 
 
 		// if past the num predict limit
 		// if past the num predict limit
-		if seq.numPredict > 0 && seq.numPredicted > seq.numPredict {
+		if seq.numPredict > 0 && seq.numPredicted >= seq.numPredict {
 			s.removeSequence(seqIdx, "limit")
 			s.removeSequence(seqIdx, "limit")
 			continue
 			continue
 		}
 		}