소스 검색

Merge pull request #420 from jmorganca/mxyng/34b-mem-check

add 34b to mem check
Michael Yang 1 년 전
부모
커밋
e82fcf30c6
1개의 변경된 파일1개의 추가작업 그리고 1개의 파일을 삭제
  1. 1 1
      llm/llm.go

+ 1 - 1
llm/llm.go

@@ -55,7 +55,7 @@ func New(model string, adapters []string, opts api.Options) (LLM, error) {
 		if totalResidentMemory < 16*1024*1024 {
 			return nil, fmt.Errorf("model requires at least 16GB of memory")
 		}
-	case ModelType30B:
+	case ModelType30B, ModelType34B:
 		if totalResidentMemory < 32*1024*1024 {
 			return nil, fmt.Errorf("model requires at least 32GB of memory")
 		}