Аутор | SHA1 Порука | Датум |
---|---|---|
|
ad7e641815 add batch embeddings | пре 1 година |
|
00b0699c75 Reload model if `num_gpu` changes (#3920) | пре 1 година |
|
36a6daccab Restructure loading conditional chain | пре 1 година |
|
ceb0e26e5e Provide variable ggml for TestLoad | пре 1 година |
|
284e02bed0 Move ggml loading to when we attempt fitting | пре 1 година |
|
d8851cb7a0 Harden sched TestLoad | пре 1 година |
|
34b9db5afc Request and model concurrency | пре 1 година |