Selaa lähdekoodia

fix dolphin-mistral

Daniel Hiltgen 9 kuukautta sitten
vanhempi
commit
3cc7ec4429
1 muutettua tiedostoa jossa 1 lisäystä ja 1 poistoa
  1. 1 1
      llama/runner/runner.go

+ 1 - 1
llama/runner/runner.go

@@ -68,7 +68,7 @@ func (s *Sequence) prompt() bool {
 }
 
 func (s *Server) NewSequence(prompt string, numPredict int, stop []string, params *llama.SamplingParams, embedding bool) *Sequence {
-	tokens, err := s.lc.Model().Tokenize(prompt, embedding, true)
+	tokens, err := s.lc.Model().Tokenize(prompt, true, true)
 	if err != nil {
 		panic(err)
 	}