 Daniel Hiltgen
|
be31611ff1
Fix case for NumCtx
|
10 tháng trước cách đây |
|
Daniel Hiltgen
|
976fc86978
Disable concurrency for AMD + Windows
|
10 tháng trước cách đây |
|
Daniel Hiltgen
|
9bceb3b55e
Enable concurrency by default
|
1 năm trước cách đây |
 Blake Mizerany
|
cb42e607c5
llm: speed up gguf decoding by a lot (#5246)
|
10 tháng trước cách đây |
|
Daniel Hiltgen
|
6f351bf586
review comments and coverage
|
11 tháng trước cách đây |
|
Daniel Hiltgen
|
ff4f0cbd1d
Prevent multiple concurrent loads on the same gpus
|
11 tháng trước cách đây |
|
Daniel Hiltgen
|
fc37c192ae
Refine CPU load behavior with system memory visibility
|
11 tháng trước cách đây |
|
Daniel Hiltgen
|
434dfe30c5
Reintroduce nvidia nvml library for windows
|
11 tháng trước cách đây |
|
Daniel Hiltgen
|
48702dd149
Harden unload for empty runners
|
11 tháng trước cách đây |
|
Daniel Hiltgen
|
5e8ff556cb
Support forced spreading for multi GPU
|
1 năm trước cách đây |
 Michael Yang
|
e40145a39d
lint
|
11 tháng trước cách đây |
|
Michael Yang
|
c895a7d13f
some gocritic
|
11 tháng trước cách đây |
|
Michael Yang
|
04f3c12bb7
replace x/exp/slices with slices
|
11 tháng trước cách đây |
 Patrick Devine
|
4cc3be3035
Move envconfig and consolidate env vars (#4608)
|
11 tháng trước cách đây |
 Sang Park
|
4434d7f447
Correct typo in error message (#4535)
|
11 tháng trước cách đây |
|
Daniel Hiltgen
|
ec231a7923
Remove VRAM convergence check for windows
|
11 tháng trước cách đây |
|
Patrick Devine
|
6845988807
Ollama `ps` command for showing currently loaded models (#4327)
|
11 tháng trước cách đây |
|
Daniel Hiltgen
|
4142c3ef7c
Always use the sorted list of GPUs
|
11 tháng trước cách đây |
 Jeffrey Morgan
|
bb6fd02298
Don't clamp ctx size in `PredictServerFit` (#4317)
|
11 tháng trước cách đây |
|
Daniel Hiltgen
|
354ad9254e
Wait for GPU free memory reporting to converge
|
11 tháng trước cách đây |
|
Jeffrey Morgan
|
c9f98622b1
Skip scheduling cancelled requests, always reload unloaded runners (#4189)
|
1 năm trước cách đây |
|
Jeffrey Morgan
|
dfa2f32ca0
unload in critical section (#4187)
|
1 năm trước cách đây |
|
Daniel Hiltgen
|
f56aa20014
Centralize server config handling
|
1 năm trước cách đây |
|
Jeffrey Morgan
|
942c979232
allocate a large enough kv cache for all parallel requests (#4162)
|
1 năm trước cách đây |
|
Daniel Hiltgen
|
20f6c06569
Make maximum pending request configurable
|
1 năm trước cách đây |
 Mark Ward
|
63c763685f
log when the waiting for the process to stop to help debug when other tasks execute during this wait.
|
1 năm trước cách đây |
|
Mark Ward
|
f4a73d57a4
fix runner expire during active use. Clearing the expire timer as it is used. Allowing the finish to assign an expire timer so that the runner will expire after no use.
|
1 năm trước cách đây |
|
Daniel Hiltgen
|
d6e3b64582
Fix concurrency for CPU mode
|
1 năm trước cách đây |
 Daniel Hiltgen
|
9b5a3c5991
Merge pull request #3914 from dhiltgen/mac_perf
|
1 năm trước cách đây |
|
Jeffrey Morgan
|
00b0699c75
Reload model if `num_gpu` changes (#3920)
|
1 năm trước cách đây |
