 Daniel Hiltgen
|
667a2ba18a
Detect lack of AVX and fallback to CPU mode
|
hace 1 año |
|
Daniel Hiltgen
|
9d7b5d6c91
Ignore AMD integrated GPUs
|
hace 1 año |
|
Daniel Hiltgen
|
013fd07139
More logging for gpu management
|
hace 1 año |
|
Daniel Hiltgen
|
987c16b2f7
Report more information about GPUs in verbose mode
|
hace 1 año |
 Jeffrey Morgan
|
f32ea81b21
increase minimum overhead to 1024MiB (#2114)
|
hace 1 año |
|
Daniel Hiltgen
|
552db98bf1
More WSL paths
|
hace 1 año |
 Self Denial
|
eb76f3e379
Fix CPU-only build under Android Termux enviornment.
|
hace 1 año |
 Daniel Hiltgen
|
abec7f06e5
Merge pull request #2056 from dhiltgen/slog
|
hace 1 año |
|
Daniel Hiltgen
|
fedd705aea
Mechanical switch from log to slog
|
hace 1 año |
 Alexander F. Rødseth
|
f4bf1d514f
Let gpu.go and gen_linux.sh also find CUDA on Arch Linux
|
hace 1 año |
|
Daniel Hiltgen
|
d88c527be3
Build multiple CPU variants and pick the best
|
hace 1 año |
|
Daniel Hiltgen
|
8da7bef05f
Support multiple variants for a given llm lib type
|
hace 1 año |
|
Jeffrey Morgan
|
b24e8d17b2
Increase minimum CUDA memory allocation overhead and fix minimum overhead for multi-gpu (#1896)
|
hace 1 año |
|
Daniel Hiltgen
|
3c49c3ab0d
Harden GPU mgmt library lookup
|
hace 1 año |
|
Jeffrey Morgan
|
c336693f07
calculate overhead based number of gpu devices (#1875)
|
hace 1 año |
 Daniel Hiltgen
|
1961a81f03
Set corret CUDA minimum compute capability version
|
hace 1 año |
|
Jeffrey Morgan
|
6df83e6daa
update rough cuda overhead estimate to 15% + 384MiB
|
hace 1 año |
|
Jeffrey Morgan
|
6164f378f2
revert cuda overhead to 20%
|
hace 1 año |
|
Jeffrey Morgan
|
6566387ae3
add `TODO` for cuda overhead
|
hace 1 año |
|
Jeffrey Morgan
|
37708931fb
update cuda overhead to 20% to fix crashes when switching between models and large context sizes
|
hace 1 año |
|
Jeffrey Morgan
|
f6cb0a553c
update cuda overhead to 15% or 400MiB
|
hace 1 año |
|
Jeffrey Morgan
|
2680078c13
fix build on linux
|
hace 1 año |
|
Jeffrey Morgan
|
f1b7e5f560
update overhead to 15%
|
hace 1 año |
|
Jeffrey Morgan
|
cb534e6ac2
use 10% vram overhead for cuda
|
hace 1 año |
|
Jeffrey Morgan
|
08f1e18965
Offload layers to GPU based on new model size estimates (#1850)
|
hace 1 año |
|
Daniel Hiltgen
|
d74ce6bd4f
Detect very old CUDA GPUs and fall back to CPU
|
hace 1 año |
|
Daniel Hiltgen
|
a2ad952440
Fix windows system memory lookup
|
hace 1 año |
|
Daniel Hiltgen
|
d966b730ac
Switch windows build to fully dynamic
|
hace 1 año |
|
Daniel Hiltgen
|
7555ea44f8
Revamp the dynamic library shim
|
hace 1 año |
|
Daniel Hiltgen
|
1b991d0ba9
Refine build to support CPU only
|
hace 1 año |
