Daniel Hiltgen
|
9b5a3c5991
Merge pull request #3914 from dhiltgen/mac_perf
|
1 năm trước cách đây |
Jeffrey Morgan
|
00b0699c75
Reload model if `num_gpu` changes (#3920)
|
1 năm trước cách đây |
Daniel Hiltgen
|
b123be5b71
Adjust context size for parallelism
|
1 năm trước cách đây |
Bryce Reitano
|
36a6daccab
Restructure loading conditional chain
|
1 năm trước cách đây |
Bryce Reitano
|
284e02bed0
Move ggml loading to when we attempt fitting
|
1 năm trước cách đây |
Daniel Hiltgen
|
34b9db5afc
Request and model concurrency
|
1 năm trước cách đây |