Browse Source

set `num_gpu` to 1 only by default on darwin arm64 (#1771)

Jeffrey Morgan 1 năm trước cách đây
mục cha
commit
c7ea8f237e
1 tập tin đã thay đổi với 5 bổ sung1 xóa
  1. 5 1
      gpu/gpu_darwin.go

+ 5 - 1
gpu/gpu_darwin.go

@@ -33,11 +33,15 @@ func getCPUMem() (memInfo, error) {
 }
 
 func NumGPU(numLayer, fileSizeBytes int64, opts api.Options) int {
+	if opts.NumGPU != -1 {
+		return opts.NumGPU
+	}
+
+	// metal only supported on arm64
 	if runtime.GOARCH == "arm64" {
 		return 1
 	}
 
-	// metal only supported on arm64
 	return 0
 }