Kezdőlap Felfedezés Súgó
Regisztráció Bejelentkezés
OpenSource
/
ollama
2
0
Másolás 0
Fájlok Problémák 0 Beolvasztási kérések 0 Wiki
Fa: 783134a3bb
Branch-ok Tag-ek
ollama
/
llama
/
patches
/
02-llamacpp.diff

02-llamacpp.diff 2.5 KB
Előzmények Nyers

1234567891011121314151617181920212223242526272829303132333435363738394041 
  1. diff --git a/llama/llama.cpp b/llama/llama.cpp
    2. 

  2. index 8b675ea9..bcc6ae75 100644
    3. 

  3. --- a/llama/llama.cpp
    4. 

  4. +++ b/llama/llama.cpp
    5. 

  5. @@ -4645,16 +4645,7 @@ static void llm_load_vocab(
    6. 

  6.  
    7. 

  7.          // for now, only BPE models have pre-tokenizers
    8. 

  8.          if (vocab.type == LLAMA_VOCAB_TYPE_BPE) {
    9. 

  9. -            if (tokenizer_pre.empty()) {
    10. 

  10. -                LLAMA_LOG_WARN("%s: missing pre-tokenizer type, using: 'default'\n", __func__);
    11. 

  11. -                LLAMA_LOG_WARN("%s:                                             \n", __func__);
    12. 

  12. -                LLAMA_LOG_WARN("%s: ************************************        \n", __func__);
    13. 

  13. -                LLAMA_LOG_WARN("%s: GENERATION QUALITY WILL BE DEGRADED!        \n", __func__);
    14. 

  14. -                LLAMA_LOG_WARN("%s: CONSIDER REGENERATING THE MODEL             \n", __func__);
    15. 

  15. -                LLAMA_LOG_WARN("%s: ************************************        \n", __func__);
    16. 

  16. -                LLAMA_LOG_WARN("%s:                                             \n", __func__);
    17. 

  17. -                vocab.type_pre = LLAMA_VOCAB_PRE_TYPE_DEFAULT;
    18. 

  18. -            } else if (tokenizer_pre == "default") {
    19. 

  19. +            if (tokenizer_pre == "default") {
    20. 

  20.                  vocab.type_pre = LLAMA_VOCAB_PRE_TYPE_DEFAULT;
    21. 

  21.              } else if (
    22. 

  22.                      tokenizer_pre == "llama3"   ||
    23. 

  23. @@ -4706,7 +4697,8 @@ static void llm_load_vocab(
    24. 

  24.                  tokenizer_pre == "smaug-bpe") {
    25. 

  25.                  vocab.type_pre = LLAMA_VOCAB_PRE_TYPE_SMAUG;
    26. 

  26.              } else {
    27. 

  27. -                throw std::runtime_error(format("unknown pre-tokenizer type: '%s'", tokenizer_pre.c_str()));
    28. 

  28. +                LLAMA_LOG_WARN("%s: missing or unrecognized pre-tokenizer type, using: 'default'\n", __func__);
    29. 

  29. +                vocab.type_pre = LLAMA_VOCAB_PRE_TYPE_DEFAULT;
    30. 

  30.              }
    31. 

  31.          } else {
    32. 

  32.              vocab.type_pre = LLAMA_VOCAB_PRE_TYPE_DEFAULT;
    33. 

  33. @@ -7009,7 +7001,7 @@ static struct ggml_tensor * llm_build_kqv(
    34. 

  34.          struct ggml_tensor * kq = ggml_mul_mat(ctx, k, q);
    35. 

  35.          cb(kq, "kq", il);
    36. 

  36.  
    37. 

  37. -        if (model.arch == LLM_ARCH_PHI2 || model.arch == LLM_ARCH_PHI3 || model.arch == LLM_ARCH_GPTNEOX) {
    38. 

  38. +        if (model.arch == LLM_ARCH_PHI2 || model.arch == LLM_ARCH_PHI3 || model.arch == LLM_ARCH_GPTNEOX || model.arch == LLM_ARCH_QWEN2) {
    39. 

  39.              // for this arch, we need to perform the KQ multiplication with F32 precision, otherwise we get NaNs
    40. 

  40.              // ref: https://github.com/ggerganov/llama.cpp/pull/4490#issuecomment-1859055847
    41. 

  41.              ggml_mul_mat_set_prec(kq, GGML_PREC_F32);
    42.