Переглянути джерело

Bump VRAM buffer back up

Under stress scenarios we're seeing OOMs so this should help stabilize
the allocations under heavy concurrency stress.
Daniel Hiltgen 11 місяців тому
батько
коміт
30a7d7096c
2 змінених файлів з 3 додано та 3 видалено
  1. 2 2
      gpu/gpu.go
  2. 1 1
      gpu/gpu_darwin.go

+ 2 - 2
gpu/gpu.go

@@ -31,8 +31,8 @@ type handles struct {
 }
 
 const (
-	cudaMinimumMemory = 256 * format.MebiByte
-	rocmMinimumMemory = 256 * format.MebiByte
+	cudaMinimumMemory = 457 * format.MebiByte
+	rocmMinimumMemory = 457 * format.MebiByte
 )
 
 var gpuMutex sync.Mutex

+ 1 - 1
gpu/gpu_darwin.go

@@ -15,7 +15,7 @@ import (
 )
 
 const (
-	metalMinimumMemory = 384 * format.MebiByte
+	metalMinimumMemory = 512 * format.MebiByte
 )
 
 func GetGPUInfo() GpuInfoList {