ソースを参照

add 34b to mem check

Michael Yang 1 年間 前
コミット
304f2b6c96
1 ファイル変更1 行追加1 行削除
  1. 1 1
      llm/llm.go

+ 1 - 1
llm/llm.go

@@ -55,7 +55,7 @@ func New(model string, adapters []string, opts api.Options) (LLM, error) {
 		if totalResidentMemory < 16*1024*1024 {
 			return nil, fmt.Errorf("model requires at least 16GB of memory")
 		}
-	case ModelType30B:
+	case ModelType30B, ModelType34B:
 		if totalResidentMemory < 32*1024*1024 {
 			return nil, fmt.Errorf("model requires at least 32GB of memory")
 		}