Переглянути джерело

convert: capture `head_dim` for mistral (#5818)

Jeffrey Morgan 9 місяців тому
батько
коміт
d835368eb8
1 змінених файлів з 5 додано та 0 видалено
  1. 5 0
      convert/mistral.go

+ 5 - 0
convert/mistral.go

@@ -71,6 +71,11 @@ func (m *MistralModel) WriteGGUF(ws io.WriteSeeker) error {
 		"tokenizer.ggml.unknown_token_id": uint32(0),
 	}
 
+	if m.Params.HeadDimension > 0 {
+		kv["llama.attention.key_length"] = uint32(m.Params.HeadDimension)
+		kv["llama.attention.value_length"] = uint32(m.Params.HeadDimension)
+	}
+
 	return llm.NewGGUFV3(m.Params.ByteOrder).Encode(ws, kv, m.Tensors)
 }