 Jesse Gross
|
f66216e399
ggml: Support heterogeneous KV cache layer sizes in memory estimation
|
hace 1 mes |
|
Jesse Gross
|
f4f0992b6e
llm: Fix debug logging for memory estimates
|
hace 1 mes |
 Michael Yang
|
033cec232a
count gemma3 vision tensors
|
hace 1 mes |
 Daniel Hiltgen
|
1fdb351c37
New engine: vision models and auto-fallback (#9113)
|
hace 1 mes |
|
Michael Yang
|
58245413f4
next ollama runner (#7913)
|
hace 2 meses |
 frob
|
63269668c0
Prevent underflow when FreeMemory < overhead (#8014)
|
hace 4 meses |
 Sam
|
539be43640
llm: normalise kvct parameter handling (#7926)
|
hace 5 meses |
|
Sam
|
1bdab9fdb1
llm: introduce k/v context quantization (vRAM improvements) (#6279)
|
hace 5 meses |
|
Michael Yang
|
d07cf41a97
refactor kv estimation
|
hace 6 meses |
 Patrick Devine
|
c7cb0f0602
image processing for llama3.2 (#6963)
|
hace 6 meses |
|
Daniel Hiltgen
|
05cd82ef94
Rename gpu package discover (#7143)
|
hace 6 meses |
|
Daniel Hiltgen
|
56318fb365
Improve logging on GPU too small (#6666)
|
hace 7 meses |
|
Daniel Hiltgen
|
b05c9e83d9
Introduce GPU Overhead env var (#5922)
|
hace 7 meses |
|
Michael Yang
|
8e0641a9bf
handle asymmetric embedding KVs
|
hace 10 meses |
 Daniel Hiltgen
|
359b15a597
Handle models with divergent layer sizes
|
hace 10 meses |
|
Daniel Hiltgen
|
7784ca33ce
Tighten up memory prediction logging
|
hace 10 meses |
|
Daniel Hiltgen
|
17df6520c8
Remove mmap related output calc logic
|
hace 10 meses |
|
Daniel Hiltgen
|
6f351bf586
review comments and coverage
|
hace 11 meses |
|
Daniel Hiltgen
|
6fd04ca922
Improve multi-gpu handling at the limit
|
hace 11 meses |
|
Michael Yang
|
6297f85606
gofmt, goimports
|
hace 11 meses |
|
Michael Yang
|
e40145a39d
lint
|
hace 11 meses |
 Patrick Devine
|
4cc3be3035
Move envconfig and consolidate env vars (#4608)
|
hace 11 meses |
|
Michael Yang
|
1d359e737e
typo
|
hace 11 meses |
|
Michael Yang
|
50b9056e09
count memory up to NumGPU
|
hace 11 meses |
 Jeffrey Morgan
|
bb6fd02298
Don't clamp ctx size in `PredictServerFit` (#4317)
|
hace 11 meses |
|
Daniel Hiltgen
|
bee2f4a3b0
Record GPU usage information
|
hace 1 año |
|
Michael Yang
|
4736391bfb
llm: add minimum based on layer size
|
hace 1 año |
|
Daniel Hiltgen
|
f56aa20014
Centralize server config handling
|
hace 1 año |
|
Jeffrey Morgan
|
f0c454ab57
gpu: add 512MiB to darwin minimum, metal doesn't have partial offloading overhead (#4068)
|
hace 1 año |
|
Michael Yang
|
f81f308118
fix gemma, command-r layer weights
|
hace 1 año |
