Bläddra i källkod

enable k quants

Michael Yang 1 år sedan
förälder
incheckning
726bc647b2
1 ändrade filer med 1 tillägg och 1 borttagningar
  1. 1 1
      llama/llama.go

+ 1 - 1
llama/llama.go

@@ -1,7 +1,7 @@
 package llama
 package llama
 
 
 /*
 /*
-#cgo CPPFLAGS: -O3 -DNDEBUG=1
+#cgo CPPFLAGS: -O3 -DNDEBUG=1 -DGGML_USE_K_QUANTS
 #cgo CXXFLAGS: -std=c++11
 #cgo CXXFLAGS: -std=c++11
 #cgo darwin CPPFLAGS: -DGGML_USE_ACCELERATE -DGGML_USE_METAL -DGGML_METAL_NDEBUG
 #cgo darwin CPPFLAGS: -DGGML_USE_ACCELERATE -DGGML_USE_METAL -DGGML_METAL_NDEBUG
 #cgo darwin LDFLAGS: -framework Accelerate -framework Foundation -framework Metal -framework MetalKit -framework MetalPerformanceShaders
 #cgo darwin LDFLAGS: -framework Accelerate -framework Foundation -framework Metal -framework MetalKit -framework MetalPerformanceShaders