Kaynağa Gözat

feed the linter

Patrick Devine 2 ay önce
ebeveyn
işleme
4cda3e3622
1 değiştirilmiş dosya ile 0 ekleme ve 2 silme
  1. 0 2
      model/process_text_spm.go

+ 0 - 2
model/process_text_spm.go

@@ -26,7 +26,6 @@ func NewSentencePieceModel(pre string, vocab *Vocabulary) SentencePieceModel {
 
 
 	counter := map[int]int{}
 	counter := map[int]int{}
 	var maxTokenLen int
 	var maxTokenLen int
-
 	for cnt, _ := range vocab.Types {
 	for cnt, _ := range vocab.Types {
 		switch vocab.Types[cnt] {
 		switch vocab.Types[cnt] {
 		case TOKEN_TYPE_NORMAL, TOKEN_TYPE_USER_DEFINED, TOKEN_TYPE_UNUSED:
 		case TOKEN_TYPE_NORMAL, TOKEN_TYPE_USER_DEFINED, TOKEN_TYPE_UNUSED:
@@ -194,7 +193,6 @@ func (spm SentencePieceModel) Encode(s string) ([]int32, error) {
 				}
 				}
 			}
 			}
 		}
 		}
-
 	}
 	}
 	slog.Debug("encoded", "ids", ids)
 	slog.Debug("encoded", "ids", ids)