Преглед изворни кода

only quantize language models

Michael Yang пре 1 година
родитељ
комит
3244a25c79
1 измењених фајлова са 4 додато и 2 уклоњено
  1. 4 2
      server/images.go

+ 4 - 2
server/images.go

@@ -349,7 +349,10 @@ func CreateModel(ctx context.Context, name, modelFileDir, quantization string, c
 			}
 			}
 
 
 			for _, baseLayer := range baseLayers {
 			for _, baseLayer := range baseLayers {
-				if quantization != "" && baseLayer.GGML != nil && baseLayer.GGML.Name() == "gguf" {
+				if quantization != "" &&
+					baseLayer.MediaType == "application/vnd.ollama.image.model" &&
+					baseLayer.GGML != nil &&
+					baseLayer.GGML.Name() == "gguf" {
 					ftype, err := llm.ParseFileType(quantization)
 					ftype, err := llm.ParseFileType(quantization)
 					if err != nil {
 					if err != nil {
 						return err
 						return err
@@ -555,7 +558,6 @@ func CreateModel(ctx context.Context, name, modelFileDir, quantization string, c
 	return nil
 	return nil
 }
 }
 
 
-
 func CopyModel(src, dst model.Name) error {
 func CopyModel(src, dst model.Name) error {
 	if !dst.IsFullyQualified() {
 	if !dst.IsFullyQualified() {
 		return model.Unqualified(dst)
 		return model.Unqualified(dst)