Mark Ward
|
63c763685f
log when the waiting for the process to stop to help debug when other tasks execute during this wait.
|
1 năm trước cách đây |
Mark Ward
|
f4a73d57a4
fix runner expire during active use. Clearing the expire timer as it is used. Allowing the finish to assign an expire timer so that the runner will expire after no use.
|
1 năm trước cách đây |
Daniel Hiltgen
|
d6e3b64582
Fix concurrency for CPU mode
|
1 năm trước cách đây |
Daniel Hiltgen
|
9b5a3c5991
Merge pull request #3914 from dhiltgen/mac_perf
|
1 năm trước cách đây |
Jeffrey Morgan
|
00b0699c75
Reload model if `num_gpu` changes (#3920)
|
1 năm trước cách đây |
Daniel Hiltgen
|
b123be5b71
Adjust context size for parallelism
|
1 năm trước cách đây |
Bryce Reitano
|
36a6daccab
Restructure loading conditional chain
|
1 năm trước cách đây |
Bryce Reitano
|
284e02bed0
Move ggml loading to when we attempt fitting
|
1 năm trước cách đây |
Daniel Hiltgen
|
34b9db5afc
Request and model concurrency
|
1 năm trước cách đây |