Patrick Devine 2 месяцев назад
Родитель
Сommit
4cda3e3622
1 измененных файлов с 0 добавлено и 2 удалено
  1. 0 2
      model/process_text_spm.go

+ 0 - 2
model/process_text_spm.go

@@ -26,7 +26,6 @@ func NewSentencePieceModel(pre string, vocab *Vocabulary) SentencePieceModel {
 
 	counter := map[int]int{}
 	var maxTokenLen int
-
 	for cnt, _ := range vocab.Types {
 		switch vocab.Types[cnt] {
 		case TOKEN_TYPE_NORMAL, TOKEN_TYPE_USER_DEFINED, TOKEN_TYPE_UNUSED:
@@ -194,7 +193,6 @@ func (spm SentencePieceModel) Encode(s string) ([]int32, error) {
 				}
 			}
 		}
-
 	}
 	slog.Debug("encoded", "ids", ids)