Commit Verlauf

Autor SHA1 Nachricht Datum
  Jeffrey Morgan 80ee9b5e47 Remove out of space test temporarily (#5825) vor 9 Monaten
  Daniel Hiltgen 06e5d74e34 Merge pull request #5506 from dhiltgen/sched_tests vor 9 Monaten
  royjhan b9f5e16c80 Introduce `/api/embed` endpoint supporting batch embedding (#5127) vor 9 Monaten
  Daniel Hiltgen f4408219e9 Refine scheduler unit tests for reliability vor 10 Monaten
  Daniel Hiltgen af28b94533 Merge pull request #5469 from dhiltgen/prevent_system_oom vor 10 Monaten
  Daniel Hiltgen 955f2a4e03 Only set default keep_alive on initial model load vor 10 Monaten
  Daniel Hiltgen 3c75113e37 Prevent loading models larger than total memory vor 10 Monaten
  Daniel Hiltgen 3518aaef33 Merge pull request #4218 from dhiltgen/auto_parallel vor 10 Monaten
  Blake Mizerany cb42e607c5 llm: speed up gguf decoding by a lot (#5246) vor 10 Monaten
  Daniel Hiltgen 17b7186cd7 Enable concurrency by default vor 1 Jahr
  Daniel Hiltgen 45cacbaf05 Merge pull request #4517 from dhiltgen/gpu_incremental vor 10 Monaten
  Daniel Hiltgen 6f351bf586 review comments and coverage vor 11 Monaten
  Daniel Hiltgen fc37c192ae Refine CPU load behavior with system memory visibility vor 11 Monaten
  Daniel Hiltgen 6fd04ca922 Improve multi-gpu handling at the limit vor 11 Monaten
  Jeffrey Morgan dd7c9ebeaf server: longer timeout in `TestRequests` (#5046) vor 10 Monaten
  Michael Yang e40145a39d lint vor 11 Monaten
  Patrick Devine 4cc3be3035 Move envconfig and consolidate env vars (#4608) vor 11 Monaten
  Jeffrey Morgan 38255d2af1 Use flash attention flag for now (#4580) vor 11 Monaten
  Patrick Devine 6845988807 Ollama `ps` command for showing currently loaded models (#4327) vor 11 Monaten
  Daniel Hiltgen 0a954e5066 Fix stale test logic vor 1 Jahr
  Jeffrey Morgan dfa2f32ca0 unload in critical section (#4187) vor 1 Jahr
  Daniel Hiltgen f56aa20014 Centralize server config handling vor 1 Jahr
  Daniel Hiltgen 9a32c514cb Soften timeouts on sched unit tests vor 1 Jahr
  Daniel Hiltgen d6e3b64582 Fix concurrency for CPU mode vor 1 Jahr
  Jeffrey Morgan 00b0699c75 Reload model if `num_gpu` changes (#3920) vor 1 Jahr
  Bryce Reitano 36a6daccab Restructure loading conditional chain vor 1 Jahr
  Bryce Reitano ceb0e26e5e Provide variable ggml for TestLoad vor 1 Jahr
  Bryce Reitano 284e02bed0 Move ggml loading to when we attempt fitting vor 1 Jahr
  Daniel Hiltgen d8851cb7a0 Harden sched TestLoad vor 1 Jahr
  Daniel Hiltgen 34b9db5afc Request and model concurrency vor 1 Jahr