 Daniel Hiltgen
|
6f351bf586
review comments and coverage
|
11 місяців тому |
|
Daniel Hiltgen
|
fc37c192ae
Refine CPU load behavior with system memory visibility
|
11 місяців тому |
|
Daniel Hiltgen
|
6fd04ca922
Improve multi-gpu handling at the limit
|
11 місяців тому |
 Craig Hughes
|
b84aea1685
Critical fix from llama.cpp JSON grammar to forbid un-escaped escape characters inside strings, which breaks parsing. (#3782)
|
10 місяців тому |
 Michael Yang
|
e40145a39d
lint
|
11 місяців тому |
|
Michael Yang
|
c895a7d13f
some gocritic
|
11 місяців тому |
|
Michael Yang
|
829ff87bd1
revert tokenize ffi (#4761)
|
11 місяців тому |
 Jeffrey Morgan
|
a50a87a7b8
partial offloading: allow flash attention and disable mmap (#4734)
|
11 місяців тому |
|
Michael Yang
|
26a00a0410
use ffi for tokenizing/detokenizing
|
11 місяців тому |
|
Daniel Hiltgen
|
92c81e8117
Give the final model loading more time
|
11 місяців тому |
 Lei Jitang
|
7487229c34
llm/server.go: Fix 2 minor typos (#4661)
|
11 місяців тому |
 Daniel Hiltgen
|
0165ba1651
Merge pull request #4638 from dhiltgen/better_error
|
11 місяців тому |
|
Daniel Hiltgen
|
c4209d6d21
Report better warning on client closed abort of load
|
11 місяців тому |
 Patrick Devine
|
4cc3be3035
Move envconfig and consolidate env vars (#4608)
|
11 місяців тому |
|
Daniel Hiltgen
|
b37b496a12
Wire up load progress
|
11 місяців тому |
|
Jeffrey Morgan
|
38255d2af1
Use flash attention flag for now (#4580)
|
11 місяців тому |
 Sam
|
e15307fdf4
feat: add support for flash_attn (#4120)
|
11 місяців тому |
|
Patrick Devine
|
d1692fd3e0
fix the cpu estimatedTotal memory + get the expiry time for loading models (#4461)
|
11 місяців тому |
|
Daniel Hiltgen
|
853ae490e1
Sanitize the env var debug log
|
11 місяців тому |
|
Patrick Devine
|
6845988807
Ollama `ps` command for showing currently loaded models (#4327)
|
11 місяців тому |
|
jmorganca
|
92ca2cca95
Revert "only forward some env vars"
|
11 місяців тому |
|
Daniel Hiltgen
|
c4014e73a2
Fall back to CPU runner with zero layers
|
11 місяців тому |
|
Jeffrey Morgan
|
bb6fd02298
Don't clamp ctx size in `PredictServerFit` (#4317)
|
11 місяців тому |
|
Michael Yang
|
cf442cd57e
fix typo
|
1 рік тому |
|
Michael Yang
|
ce3b212d12
only forward some env vars
|
1 рік тому |
|
Michael Yang
|
58876091f7
log clean up
|
1 рік тому |
|
Daniel Hiltgen
|
d0425f26cf
Merge pull request #4294 from dhiltgen/harden_subprocess_reaping
|
1 рік тому |
 Bruce MacDonald
|
cfa84b8470
add done_reason to the api (#4235)
|
1 рік тому |
|
Daniel Hiltgen
|
84ac7ce139
Refine subprocess reaping
|
1 рік тому |
|
Daniel Hiltgen
|
920a4b0794
Merge remote-tracking branch 'upstream/main' into pr3702
|
1 рік тому |
