 Daniel Hiltgen
|
646371f56d
Merge pull request #3278 from zhewang1-intc/rebase_ollama_main
|
11 kuukautta sitten |
 Patrick Devine
|
4cc3be3035
Move envconfig and consolidate env vars (#4608)
|
11 kuukautta sitten |
 Wang,Zhe
|
fd5971be0b
support ollama run on Intel GPUs
|
11 kuukautta sitten |
 Daniel Hiltgen
|
30a7d7096c
Bump VRAM buffer back up
|
11 kuukautta sitten |
|
Daniel Hiltgen
|
8727a9c140
Record more GPU information
|
1 vuosi sitten |
 Michael Yang
|
4736391bfb
llm: add minimum based on layer size
|
1 vuosi sitten |
|
Daniel Hiltgen
|
380378cc80
Use our libraries first
|
1 vuosi sitten |
|
Daniel Hiltgen
|
af9eb36f9f
Merge pull request #4135 from dhiltgen/no_physx
|
1 vuosi sitten |
|
Daniel Hiltgen
|
06093fd396
Merge pull request #4067 from dhiltgen/cudart
|
1 vuosi sitten |
|
Daniel Hiltgen
|
f56aa20014
Centralize server config handling
|
1 vuosi sitten |
|
Daniel Hiltgen
|
b1ad3a43cb
Skip PhysX cudart library
|
1 vuosi sitten |
|
Daniel Hiltgen
|
089daaeabc
Add CUDA Driver API for GPU discovery
|
1 vuosi sitten |
|
Daniel Hiltgen
|
34b9db5afc
Request and model concurrency
|
1 vuosi sitten |
|
Michael Yang
|
7e33a017c0
partial offloading
|
1 vuosi sitten |
|
Daniel Hiltgen
|
1f11b52511
Refined min memory from testing
|
1 vuosi sitten |
|
Daniel Hiltgen
|
526d4eb204
Release gpu discovery library after use
|
1 vuosi sitten |
|
Michael Yang
|
91b3e4d282
update memory calcualtions
|
1 vuosi sitten |
 Jeremy
|
dfc6721b20
add support for libcudart.so for CUDA devices (adds Jetson support)
|
1 vuosi sitten |
|
Daniel Hiltgen
|
6c5ccb11f9
Revamp ROCm support
|
1 vuosi sitten |
|
Daniel Hiltgen
|
be330174dd
Allow setting max vram for workarounds
|
1 vuosi sitten |
|
Daniel Hiltgen
|
9754c6d9d8
Harden AMD driver lookup logic
|
1 vuosi sitten |
|
Daniel Hiltgen
|
6d84f07505
Detect AMD GPU info via sysfs and block old cards
|
1 vuosi sitten |
|
Daniel Hiltgen
|
4072b5879b
Merge pull request #2246 from dhiltgen/reject_cuda_without_avx
|
1 vuosi sitten |
|
Daniel Hiltgen
|
15562e887d
Don't disable GPUs on arm without AVX
|
1 vuosi sitten |
|
Daniel Hiltgen
|
f07f8b7a9e
Harden for zero detected GPUs
|
1 vuosi sitten |
|
Daniel Hiltgen
|
e02ecfb6c8
Merge pull request #2116 from dhiltgen/cc_50_80
|
1 vuosi sitten |
|
Daniel Hiltgen
|
667a2ba18a
Detect lack of AVX and fallback to CPU mode
|
1 vuosi sitten |
|
Daniel Hiltgen
|
9d7b5d6c91
Ignore AMD integrated GPUs
|
1 vuosi sitten |
|
Daniel Hiltgen
|
013fd07139
More logging for gpu management
|
1 vuosi sitten |
|
Daniel Hiltgen
|
987c16b2f7
Report more information about GPUs in verbose mode
|
1 vuosi sitten |
