 Mark Ward
|
321d57e1a0
Removing go routine calling .wait from load.
|
1 tahun lalu |
|
Mark Ward
|
ba26c7aa00
it will always return an error due to Kill() discarding Wait() errors
|
1 tahun lalu |
|
Mark Ward
|
63c763685f
log when the waiting for the process to stop to help debug when other tasks execute during this wait.
|
1 tahun lalu |
|
Mark Ward
|
948114e3e3
fix sched to wait for the runner to terminate to ensure following vram check will be more accurate
|
1 tahun lalu |
 Jeffrey Morgan
|
7aa08a77ca
llm: dont cap context window limit to training context window (#3988)
|
1 tahun lalu |
|
Jeffrey Morgan
|
bb31def011
return code `499` when user cancels request while a model is loading (#3955)
|
1 tahun lalu |
|
Jeffrey Morgan
|
993cf8bf55
llm: limit generation to 10x context size to avoid run on generations (#3918)
|
1 tahun lalu |
 Daniel Hiltgen
|
6e76348df7
Merge pull request #3834 from dhiltgen/not_found_in_path
|
1 tahun lalu |
 Daniel Hiltgen
|
58888a74bc
Detect and recover if runner removed
|
1 tahun lalu |
|
Daniel Hiltgen
|
34b9db5afc
Request and model concurrency
|
1 tahun lalu |
|
Daniel Hiltgen
|
8711d03df7
Report errors on server lookup instead of path lookup failure
|
1 tahun lalu |
|
Daniel Hiltgen
|
aa72281eae
Trim spaces and quotes from llm lib override
|
1 tahun lalu |
 Michael Yang
|
3cf483fe48
add stablelm graph calculation
|
1 tahun lalu |
|
Michael Yang
|
a8b9b930b4
account for all non-repeating layers
|
1 tahun lalu |
|
Michael Yang
|
26df674785
scale graph based on gpu count
|
1 tahun lalu |
|
Michael Yang
|
41a272de9f
darwin: no partial offloading if required memory greater than system
|
1 tahun lalu |
|
Jeffrey Morgan
|
a0b8a32eb4
Terminate subprocess if receiving `SIGINT` or `SIGTERM` signals while model is loading (#3653)
|
1 tahun lalu |
|
Michael Yang
|
7e33a017c0
partial offloading
|
1 tahun lalu |
|
Michael Yang
|
8b2c10061c
refactor tensor query
|
1 tahun lalu |
|
Daniel Hiltgen
|
c5ff443b9f
Handle very slow model loads
|
1 tahun lalu |
|
Michael Yang
|
be517e491c
no rope parameters
|
1 tahun lalu |
|
Michael Yang
|
12e923e158
update graph size estimate
|
1 tahun lalu |
|
Daniel Hiltgen
|
464d817824
Merge pull request #3464 from dhiltgen/subprocess
|
1 tahun lalu |
|
Daniel Hiltgen
|
6589eb8a8c
Revert options as a ref in the server
|
1 tahun lalu |
|
Michael Yang
|
80163ebcb5
fix metal gpu
|
1 tahun lalu |
|
Daniel Hiltgen
|
58d95cc9bd
Switch back to subprocessing for llama.cpp
|
1 tahun lalu |
