Explorar o código

Merge pull request #420 from jmorganca/mxyng/34b-mem-check

add 34b to mem check
Michael Yang hai 1 ano
pai
achega
e82fcf30c6
Modificáronse 1 ficheiros con 1 adicións e 1 borrados
  1. 1 1
      llm/llm.go

+ 1 - 1
llm/llm.go

@@ -55,7 +55,7 @@ func New(model string, adapters []string, opts api.Options) (LLM, error) {
 		if totalResidentMemory < 16*1024*1024 {
 			return nil, fmt.Errorf("model requires at least 16GB of memory")
 		}
-	case ModelType30B:
+	case ModelType30B, ModelType34B:
 		if totalResidentMemory < 32*1024*1024 {
 			return nil, fmt.Errorf("model requires at least 32GB of memory")
 		}