Sfoglia il codice sorgente

Merge pull request #420 from jmorganca/mxyng/34b-mem-check

add 34b to mem check
Michael Yang 1 anno fa
parent
commit
e82fcf30c6
1 ha cambiato i file con 1 aggiunte e 1 eliminazioni
  1. 1 1
      llm/llm.go

+ 1 - 1
llm/llm.go

@@ -55,7 +55,7 @@ func New(model string, adapters []string, opts api.Options) (LLM, error) {
 		if totalResidentMemory < 16*1024*1024 {
 			return nil, fmt.Errorf("model requires at least 16GB of memory")
 		}
-	case ModelType30B:
+	case ModelType30B, ModelType34B:
 		if totalResidentMemory < 32*1024*1024 {
 			return nil, fmt.Errorf("model requires at least 32GB of memory")
 		}