Explorar o código

chore: update tokenizer.go (#4571)

PreTokenziers -> PreTokenizers
Ikko Eltociear Ashimine hai 11 meses
pai
achega
955c317cab
Modificáronse 1 ficheiros con 2 adicións e 2 borrados
  1. 2 2
      convert/tokenizer.go

+ 2 - 2
convert/tokenizer.go

@@ -18,7 +18,7 @@ type Tokenizer struct {
 	Model       TokenizerModel `json:"model"`
 	Model       TokenizerModel `json:"model"`
 
 
 	PreTokenizer struct {
 	PreTokenizer struct {
-		PreTokenziers []struct {
+		PreTokenizers []struct {
 			Type    string `json:"type"`
 			Type    string `json:"type"`
 			Pattern struct {
 			Pattern struct {
 				Regex string `json:"Regex"`
 				Regex string `json:"Regex"`
@@ -84,7 +84,7 @@ func parseTokens(dirpath string) (pre string, tokens []Token, merges []string, e
 	}
 	}
 
 
 	sha256sum := sha256.New()
 	sha256sum := sha256.New()
-	for _, pt := range t.PreTokenizer.PreTokenziers {
+	for _, pt := range t.PreTokenizer.PreTokenizers {
 		switch pt.Type {
 		switch pt.Type {
 		case "Split":
 		case "Split":
 			if pt.Pattern.Regex != "" {
 			if pt.Pattern.Regex != "" {