Michael Yang
|
b732beba6a
lint
|
9 місяців тому |
Daniel Hiltgen
|
434dfe30c5
Reintroduce nvidia nvml library for windows
|
11 місяців тому |
Wang,Zhe
|
fd5971be0b
support ollama run on Intel GPUs
|
11 місяців тому |
Daniel Hiltgen
|
8727a9c140
Record more GPU information
|
11 місяців тому |
Daniel Hiltgen
|
089daaeabc
Add CUDA Driver API for GPU discovery
|
1 рік тому |
Daniel Hiltgen
|
34b9db5afc
Request and model concurrency
|
1 рік тому |
Jeremy
|
dfc6721b20
add support for libcudart.so for CUDA devices (adds Jetson support)
|
1 рік тому |
Daniel Hiltgen
|
6c5ccb11f9
Revamp ROCm support
|
1 рік тому |
Daniel Hiltgen
|
9d7b5d6c91
Ignore AMD integrated GPUs
|
1 рік тому |
Daniel Hiltgen
|
987c16b2f7
Report more information about GPUs in verbose mode
|
1 рік тому |
Jeffrey Morgan
|
c336693f07
calculate overhead based number of gpu devices (#1875)
|
1 рік тому |
Daniel Hiltgen
|
a2ad952440
Fix windows system memory lookup
|
1 рік тому |
Daniel Hiltgen
|
35934b2e05
Adapted rocm support to cgo based llama.cpp
|
1 рік тому |