 royjhan
|
a5f23d766e
Merge branch 'main' into royh-batchembed
|
преди 10 месеца |
 Roy Han
|
00a4cb26ca
use float32
|
преди 10 месеца |
 Daniel Hiltgen
|
3518aaef33
Merge pull request #4218 from dhiltgen/auto_parallel
|
преди 10 месеца |
|
Roy Han
|
49e341147d
add server function
|
преди 10 месеца |
|
Roy Han
|
c406fa7a4c
api/embed draft
|
преди 10 месеца |
|
Roy Han
|
ff191d7cba
Initial Draft
|
преди 10 месеца |
 Blake Mizerany
|
cb42e607c5
llm: speed up gguf decoding by a lot (#5246)
|
преди 10 месеца |
|
Roy Han
|
0f87628b6d
Revert "Initial Batch Embedding"
|
преди 10 месеца |
 Daniel Hiltgen
|
17b7186cd7
Enable concurrency by default
|
преди 1 година |
|
Roy Han
|
c22d54895a
Initial Batch Embedding
|
преди 10 месеца |
|
Daniel Hiltgen
|
45cacbaf05
Merge pull request #4517 from dhiltgen/gpu_incremental
|
преди 10 месеца |
|
Daniel Hiltgen
|
6f351bf586
review comments and coverage
|
преди 11 месеца |
|
Daniel Hiltgen
|
fc37c192ae
Refine CPU load behavior with system memory visibility
|
преди 11 месеца |
|
Daniel Hiltgen
|
6fd04ca922
Improve multi-gpu handling at the limit
|
преди 11 месеца |
 Jeffrey Morgan
|
dd7c9ebeaf
server: longer timeout in `TestRequests` (#5046)
|
преди 10 месеца |
 Michael Yang
|
e40145a39d
lint
|
преди 11 месеца |
 Patrick Devine
|
4cc3be3035
Move envconfig and consolidate env vars (#4608)
|
преди 11 месеца |
|
Jeffrey Morgan
|
38255d2af1
Use flash attention flag for now (#4580)
|
преди 11 месеца |
|
Patrick Devine
|
6845988807
Ollama `ps` command for showing currently loaded models (#4327)
|
преди 11 месеца |
|
Daniel Hiltgen
|
0a954e5066
Fix stale test logic
|
преди 1 година |
|
Jeffrey Morgan
|
dfa2f32ca0
unload in critical section (#4187)
|
преди 1 година |
|
Daniel Hiltgen
|
f56aa20014
Centralize server config handling
|
преди 1 година |
|
Daniel Hiltgen
|
9a32c514cb
Soften timeouts on sched unit tests
|
преди 1 година |
|
Daniel Hiltgen
|
d6e3b64582
Fix concurrency for CPU mode
|
преди 1 година |
|
Jeffrey Morgan
|
00b0699c75
Reload model if `num_gpu` changes (#3920)
|
преди 1 година |
 Bryce Reitano
|
36a6daccab
Restructure loading conditional chain
|
преди 1 година |
|
Bryce Reitano
|
ceb0e26e5e
Provide variable ggml for TestLoad
|
преди 1 година |
|
Bryce Reitano
|
284e02bed0
Move ggml loading to when we attempt fitting
|
преди 1 година |
|
Daniel Hiltgen
|
d8851cb7a0
Harden sched TestLoad
|
преди 1 година |
|
Daniel Hiltgen
|
34b9db5afc
Request and model concurrency
|
преди 1 година |
