Commit History

Auteur SHA1 Bericht Datum
  jmorganca ad7e641815 add batch embeddings 1 jaar geleden
  Jeffrey Morgan 00b0699c75 Reload model if `num_gpu` changes (#3920) 1 jaar geleden
  Bryce Reitano 36a6daccab Restructure loading conditional chain 1 jaar geleden
  Bryce Reitano ceb0e26e5e Provide variable ggml for TestLoad 1 jaar geleden
  Bryce Reitano 284e02bed0 Move ggml loading to when we attempt fitting 1 jaar geleden
  Daniel Hiltgen d8851cb7a0 Harden sched TestLoad 1 jaar geleden
  Daniel Hiltgen 34b9db5afc Request and model concurrency 1 jaar geleden