Michael Yang
|
eae3af6807
clean up convert tokenizer
|
vor 8 Monaten |
Michael Yang
|
3eb08377f8
detect chat template from configs that contain lists
|
vor 8 Monaten |
Michael Yang
|
5a28b9cf5f
bert
|
vor 11 Monaten |
Michael Yang
|
d8e2664c33
convert: fix parse functions
|
vor 9 Monaten |
Michael Yang
|
eafc607abb
convert: only extract large files
|
vor 10 Monaten |
Michael Yang
|
df993fa37b
comments
|
vor 10 Monaten |
Michael Yang
|
5e9db9fb0b
refactor convert
|
vor 11 Monaten |
Michael Yang
|
c895a7d13f
some gocritic
|
vor 11 Monaten |
Ikko Eltociear Ashimine
|
955c317cab
chore: update tokenizer.go (#4571)
|
vor 11 Monaten |
Michael Yang
|
bbbd9f20f3
cleanup
|
vor 11 Monaten |
Michael Yang
|
547132e820
bpe pretokenizer
|
vor 11 Monaten |
Patrick Devine
|
2d315ba9a9
add missing file
|
vor 1 Jahr |