浏览代码

patch: use default locale in wpm tokenizer (#3034)

Jeffrey Morgan 1 年之前
父节点
当前提交
908005d90b
共有 1 个文件被更改,包括 13 次插入0 次删除
  1. 13 0
      llm/patches/03-locale.diff

+ 13 - 0
llm/patches/03-locale.diff

@@ -0,0 +1,13 @@
+diff --git a/llama.cpp b/llama.cpp
+index b19616e8..519b9602 100644
+--- a/llama.cpp
++++ b/llama.cpp
+@@ -9938,7 +9938,7 @@ struct llm_tokenizer_wpm {
+     }
+
+     uint32_t to_lower(uint32_t code) {
+-        static const std::locale locale("en_US.UTF-8");
++        static const std::locale locale("");
+ #if defined(_WIN32)
+         if (code > 0xFFFF) {
+             return code;