Commit Verlauf

Autor SHA1 Nachricht Datum
  Daniel Hiltgen 9b5a3c5991 Merge pull request #3914 from dhiltgen/mac_perf vor 1 Jahr
  Jeffrey Morgan 00b0699c75 Reload model if `num_gpu` changes (#3920) vor 1 Jahr
  Daniel Hiltgen b123be5b71 Adjust context size for parallelism vor 1 Jahr
  Bryce Reitano 36a6daccab Restructure loading conditional chain vor 1 Jahr
  Bryce Reitano 284e02bed0 Move ggml loading to when we attempt fitting vor 1 Jahr
  Daniel Hiltgen 34b9db5afc Request and model concurrency vor 1 Jahr