Quellcode durchsuchen

fix gemma, command-r layer weights

Michael Yang vor 1 Jahr
Ursprung
Commit
f81f308118
1 geänderte Dateien mit 8 neuen und 4 gelöschten Zeilen
  1. 8 4
      llm/memory.go

+ 8 - 4
llm/memory.go

@@ -102,10 +102,14 @@ func EstimateGPULayers(gpus []gpu.GpuInfo, ggml *GGML, projectors []string, opts
 	layers := ggml.Tensors().Layers()
 	layers := ggml.Tensors().Layers()
 
 
 	var memoryLayerOutput uint64
 	var memoryLayerOutput uint64
-	for k, v := range layers {
-		if k == "output" || k == "output_norm" {
-			memoryLayerOutput += v.size()
-		}
+	if layer, ok := layers["output_norm"]; ok {
+		memoryLayerOutput += layer.size()
+	}
+
+	if layer, ok := layers["output"]; ok {
+		memoryLayerOutput += layer.size()
+	} else if layer, ok := layers["token_embd"]; ok {
+		memoryLayerOutput += layer.size()
 	}
 	}
 
 
 	if gpus[0].Library == "metal" && opts.UseMMap {
 	if gpus[0].Library == "metal" && opts.UseMMap {