 Daniel Hiltgen
|
d470ebe78b
Add Jetson cuda variants for arm
|
hace 11 meses |
 Michael Yang
|
b732beba6a
lint
|
hace 9 meses |
 Jeffrey Morgan
|
c4cf8ad559
llm: avoid loading model if system memory is too small (#5637)
|
hace 9 meses |
|
Jeffrey Morgan
|
f8241bfba3
gpu: report system free memory instead of 0 (#5521)
|
hace 10 meses |
|
Daniel Hiltgen
|
6f351bf586
review comments and coverage
|
hace 11 meses |
|
Daniel Hiltgen
|
fc37c192ae
Refine CPU load behavior with system memory visibility
|
hace 11 meses |
|
Daniel Hiltgen
|
30a7d7096c
Bump VRAM buffer back up
|
hace 11 meses |
|
Michael Yang
|
4736391bfb
llm: add minimum based on layer size
|
hace 1 año |
|
Jeffrey Morgan
|
f0c454ab57
gpu: add 512MiB to darwin minimum, metal doesn't have partial offloading overhead (#4068)
|
hace 1 año |
|
Daniel Hiltgen
|
34b9db5afc
Request and model concurrency
|
hace 1 año |
|
Michael Yang
|
26df674785
scale graph based on gpu count
|
hace 1 año |
|
Michael Yang
|
41a272de9f
darwin: no partial offloading if required memory greater than system
|
hace 1 año |
|
Michael Yang
|
7e33a017c0
partial offloading
|
hace 1 año |
|
Daniel Hiltgen
|
be330174dd
Allow setting max vram for workarounds
|
hace 1 año |
 peanut256
|
a189810df6
Determine max VRAM on macOS using `recommendedMaxWorkingSetSize` (#2354)
|
hace 1 año |
|
Daniel Hiltgen
|
7427fa1387
Fix up the CPU fallback selection
|
hace 1 año |
|
Daniel Hiltgen
|
39928a42e8
Always dynamically load the llm server library
|
hace 1 año |
|
Daniel Hiltgen
|
d88c527be3
Build multiple CPU variants and pick the best
|
hace 1 año |
|
Jeffrey Morgan
|
c336693f07
calculate overhead based number of gpu devices (#1875)
|
hace 1 año |
|
Jeffrey Morgan
|
08f1e18965
Offload layers to GPU based on new model size estimates (#1850)
|
hace 1 año |
|
Jeffrey Morgan
|
c7ea8f237e
set `num_gpu` to 1 only by default on darwin arm64 (#1771)
|
hace 1 año |
|
Daniel Hiltgen
|
a2ad952440
Fix windows system memory lookup
|
hace 1 año |
|
Daniel Hiltgen
|
d966b730ac
Switch windows build to fully dynamic
|
hace 1 año |
|
Daniel Hiltgen
|
7555ea44f8
Revamp the dynamic library shim
|
hace 1 año |
|
Daniel Hiltgen
|
6558f94ed0
Fix darwin intel build
|
hace 1 año |
|
Daniel Hiltgen
|
35934b2e05
Adapted rocm support to cgo based llama.cpp
|
hace 1 año |
