浏览代码

Merge pull request #420 from jmorganca/mxyng/34b-mem-check

add 34b to mem check
Michael Yang 1 年之前
父节点
当前提交
e82fcf30c6
共有 1 个文件被更改,包括 1 次插入1 次删除
  1. 1 1
      llm/llm.go

+ 1 - 1
llm/llm.go

@@ -55,7 +55,7 @@ func New(model string, adapters []string, opts api.Options) (LLM, error) {
 		if totalResidentMemory < 16*1024*1024 {
 			return nil, fmt.Errorf("model requires at least 16GB of memory")
 		}
-	case ModelType30B:
+	case ModelType30B, ModelType34B:
 		if totalResidentMemory < 32*1024*1024 {
 			return nil, fmt.Errorf("model requires at least 32GB of memory")
 		}