소스 검색

update `llama.cpp` to `d91f3f0`

Jeffrey Morgan 1 년 전
부모
커밋
dffc8b6e09
17개의 변경된 파일18개의 추가작업 그리고 18개의 파일을 삭제
  1. 1 1
      llama/ggml-cuda.cu
  2. 1 1
      llama/ggml-cuda.h
  3. 1 1
      llama/ggml-metal.h
  4. 1 1
      llama/ggml-metal.m
  5. 1 1
      llama/ggml-metal.metal
  6. 1 1
      llama/ggml-mpi.c
  7. 1 1
      llama/ggml-mpi.h
  8. 1 1
      llama/ggml-opencl.cpp
  9. 1 1
      llama/ggml-opencl.h
  10. 1 1
      llama/ggml.c
  11. 1 1
      llama/ggml.h
  12. 1 1
      llama/k_quants.c
  13. 1 1
      llama/k_quants.h
  14. 1 1
      llama/llama-util.h
  15. 3 3
      llama/llama.cpp
  16. 1 1
      llama/llama.h
  17. 0 0
      llama/update-llama-cpp.sh

+ 1 - 1
llama/ggml-cuda.cu

@@ -1,5 +1,5 @@
 /**
- * llama.cpp - git 7c529cede6e84054e77a3eceab31c53de7b2f55b
+ * llama.cpp - git d91f3f0c55663719ea03b76311e8c36ed55eb0e2
  *
  * MIT License
  *

+ 1 - 1
llama/ggml-cuda.h

@@ -1,5 +1,5 @@
 /**
- * llama.cpp - git 7c529cede6e84054e77a3eceab31c53de7b2f55b
+ * llama.cpp - git d91f3f0c55663719ea03b76311e8c36ed55eb0e2
  *
  * MIT License
  *

+ 1 - 1
llama/ggml-metal.h

@@ -1,7 +1,7 @@
 //go:build darwin
 
 /**
- * llama.cpp - git 7c529cede6e84054e77a3eceab31c53de7b2f55b
+ * llama.cpp - git d91f3f0c55663719ea03b76311e8c36ed55eb0e2
  *
  * MIT License
  *

+ 1 - 1
llama/ggml-metal.m

@@ -1,7 +1,7 @@
 //go:build darwin
 
 /**
- * llama.cpp - git 7c529cede6e84054e77a3eceab31c53de7b2f55b
+ * llama.cpp - git d91f3f0c55663719ea03b76311e8c36ed55eb0e2
  *
  * MIT License
  *

+ 1 - 1
llama/ggml-metal.metal

@@ -1,7 +1,7 @@
 //go:build darwin
 
 /**
- * llama.cpp - git 7c529cede6e84054e77a3eceab31c53de7b2f55b
+ * llama.cpp - git d91f3f0c55663719ea03b76311e8c36ed55eb0e2
  *
  * MIT License
  *

+ 1 - 1
llama/ggml-mpi.c

@@ -1,7 +1,7 @@
 //go:build mpi
 
 /**
- * llama.cpp - git 7c529cede6e84054e77a3eceab31c53de7b2f55b
+ * llama.cpp - git d91f3f0c55663719ea03b76311e8c36ed55eb0e2
  *
  * MIT License
  *

+ 1 - 1
llama/ggml-mpi.h

@@ -1,7 +1,7 @@
 //go:build mpi
 
 /**
- * llama.cpp - git 7c529cede6e84054e77a3eceab31c53de7b2f55b
+ * llama.cpp - git d91f3f0c55663719ea03b76311e8c36ed55eb0e2
  *
  * MIT License
  *

+ 1 - 1
llama/ggml-opencl.cpp

@@ -1,7 +1,7 @@
 //go:build opencl
 
 /**
- * llama.cpp - git 7c529cede6e84054e77a3eceab31c53de7b2f55b
+ * llama.cpp - git d91f3f0c55663719ea03b76311e8c36ed55eb0e2
  *
  * MIT License
  *

+ 1 - 1
llama/ggml-opencl.h

@@ -1,7 +1,7 @@
 //go:build opencl
 
 /**
- * llama.cpp - git 7c529cede6e84054e77a3eceab31c53de7b2f55b
+ * llama.cpp - git d91f3f0c55663719ea03b76311e8c36ed55eb0e2
  *
  * MIT License
  *

+ 1 - 1
llama/ggml.c

@@ -1,5 +1,5 @@
 /**
- * llama.cpp - git 7c529cede6e84054e77a3eceab31c53de7b2f55b
+ * llama.cpp - git d91f3f0c55663719ea03b76311e8c36ed55eb0e2
  *
  * MIT License
  *

+ 1 - 1
llama/ggml.h

@@ -1,5 +1,5 @@
 /**
- * llama.cpp - git 7c529cede6e84054e77a3eceab31c53de7b2f55b
+ * llama.cpp - git d91f3f0c55663719ea03b76311e8c36ed55eb0e2
  *
  * MIT License
  *

+ 1 - 1
llama/k_quants.c

@@ -1,5 +1,5 @@
 /**
- * llama.cpp - git 7c529cede6e84054e77a3eceab31c53de7b2f55b
+ * llama.cpp - git d91f3f0c55663719ea03b76311e8c36ed55eb0e2
  *
  * MIT License
  *

+ 1 - 1
llama/k_quants.h

@@ -1,5 +1,5 @@
 /**
- * llama.cpp - git 7c529cede6e84054e77a3eceab31c53de7b2f55b
+ * llama.cpp - git d91f3f0c55663719ea03b76311e8c36ed55eb0e2
  *
  * MIT License
  *

+ 1 - 1
llama/llama-util.h

@@ -1,5 +1,5 @@
 /**
- * llama.cpp - git 7c529cede6e84054e77a3eceab31c53de7b2f55b
+ * llama.cpp - git d91f3f0c55663719ea03b76311e8c36ed55eb0e2
  *
  * MIT License
  *

+ 3 - 3
llama/llama.cpp

@@ -1,5 +1,5 @@
 /**
- * llama.cpp - git 7c529cede6e84054e77a3eceab31c53de7b2f55b
+ * llama.cpp - git d91f3f0c55663719ea03b76311e8c36ed55eb0e2
  *
  * MIT License
  *
@@ -3689,7 +3689,7 @@ size_t llama_copy_state_data(struct llama_context * ctx, uint8_t * dst) {
         const auto & kv_self = ctx->kv_self;
         const auto & hparams = ctx->model.hparams;
         const int    n_layer = hparams.n_layer;
-        const int    n_embd  = hparams.n_embd;
+        const int    n_embd  = hparams.n_embd_gqa();
         const int    n_ctx   = hparams.n_ctx;
 
         const size_t kv_size = kv_self.buf.size;
@@ -3792,7 +3792,7 @@ size_t llama_set_state_data(struct llama_context * ctx, uint8_t * src) {
         const auto & kv_self = ctx->kv_self;
         const auto & hparams = ctx->model.hparams;
         const int    n_layer = hparams.n_layer;
-        const int    n_embd  = hparams.n_embd;
+        const int    n_embd  = hparams.n_embd_gqa();
         const int    n_ctx   = hparams.n_ctx;
 
         size_t kv_size;

+ 1 - 1
llama/llama.h

@@ -1,5 +1,5 @@
 /**
- * llama.cpp - git 7c529cede6e84054e77a3eceab31c53de7b2f55b
+ * llama.cpp - git d91f3f0c55663719ea03b76311e8c36ed55eb0e2
  *
  * MIT License
  *

+ 0 - 0
llama/update-llama-cpp.sh