Преглед изворни кода

convert: capture `head_dim` for mistral (#5818)

Jeffrey Morgan пре 9 месеци
родитељ
комит
d835368eb8
1 измењених фајлова са 5 додато и 0 уклоњено
  1. 5 0
      convert/mistral.go

+ 5 - 0
convert/mistral.go

@@ -71,6 +71,11 @@ func (m *MistralModel) WriteGGUF(ws io.WriteSeeker) error {
 		"tokenizer.ggml.unknown_token_id": uint32(0),
 	}
 
+	if m.Params.HeadDimension > 0 {
+		kv["llama.attention.key_length"] = uint32(m.Params.HeadDimension)
+		kv["llama.attention.value_length"] = uint32(m.Params.HeadDimension)
+	}
+
 	return llm.NewGGUFV3(m.Params.ByteOrder).Encode(ws, kv, m.Tensors)
 }