Daniel Hiltgen
|
5d9c4a5f5a
Fix crash on cuda ml init failure
|
1 년 전 |
Daniel Hiltgen
|
013fd07139
More logging for gpu management
|
1 년 전 |
Daniel Hiltgen
|
987c16b2f7
Report more information about GPUs in verbose mode
|
1 년 전 |
Daniel Hiltgen
|
3c49c3ab0d
Harden GPU mgmt library lookup
|
1 년 전 |
Jeffrey Morgan
|
c336693f07
calculate overhead based number of gpu devices (#1875)
|
1 년 전 |
Daniel Hiltgen
|
d74ce6bd4f
Detect very old CUDA GPUs and fall back to CPU
|
1 년 전 |
Jeffrey Morgan
|
1caa56128f
add cuda lib path for nvidia container toolkit
|
1 년 전 |
Jeffrey Morgan
|
df32537312
gpu: read memory info from all cuda devices (#1802)
|
1 년 전 |
Daniel Hiltgen
|
a2ad952440
Fix windows system memory lookup
|
1 년 전 |
Daniel Hiltgen
|
1d1eb1688c
Additional nvidial-ml path to check
|
1 년 전 |
Daniel Hiltgen
|
5646826a79
Add WSL2 path to nvidia-ml.so library
|
1 년 전 |
Daniel Hiltgen
|
1b991d0ba9
Refine build to support CPU only
|
1 년 전 |
Daniel Hiltgen
|
35934b2e05
Adapted rocm support to cgo based llama.cpp
|
1 년 전 |