 Bruce MacDonald
|
6d283882b1
catch insufficient permissions nvidia err (#934)
|
hace 1 año |
|
Bruce MacDonald
|
2665f3c28e
offload 75% of available vram to improve stability (#921)
|
hace 1 año |
 Jeffrey Morgan
|
7ed5a39bc7
simpler check for model loading compatibility errors
|
hace 1 año |
|
Jeffrey Morgan
|
a7dad24d92
add error for `falcon` and `starcoder` vocab compatibility (#844)
|
hace 1 año |
 Michael Yang
|
235e43d7f6
Merge pull request #833 from discovertomorrow/leadingspace
|
hace 1 año |
 Arne Müller
|
730996e530
use TrimPrefix instead of TrimLeft
|
hace 1 año |
|
Arne Müller
|
ce6197a8e0
removed redundant strings.CutPrefix from Decode
|
hace 1 año |
|
Arne Müller
|
46b9953f32
use strings.TrimLeft to remove spaces
|
hace 1 año |
|
Bruce MacDonald
|
565648f3f7
relay CUDA errors to the client (#825)
|
hace 1 año |
|
Arne Müller
|
90c49bed57
moved removal of leading space into Predict
|
hace 1 año |
|
Arne Müller
|
5dc0cff459
fix whitespace removal
|
hace 1 año |
|
Michael Yang
|
b36b0b71f8
use cut prefix
|
hace 1 año |
|
Michael Yang
|
094df37563
remove unused struct
|
hace 1 año |
|
Bruce MacDonald
|
bd93a94abd
fix MB VRAM log output (#824)
|
hace 1 año |
|
Michael Yang
|
f55bdb6f10
Merge pull request #799 from deichbewohner/jsonmarshaling
|
hace 1 año |
|
Michael Yang
|
2870a9bfc8
Merge pull request #812 from jmorganca/mxyng/fix-format-string
|
hace 1 año |
|
Arne Müller
|
8fa3f366ad
Removed newline trimming and used buffer directly in POST request.
|
hace 1 año |
|
Michael Yang
|
fddb303f23
fix: format string wrong type
|
hace 1 año |
|
Michael Yang
|
cb4a80b693
fix: regression unsupported metal types
|
hace 1 año |
 Arne Müller
|
ee94693b1a
handling unescaped json marshaling
|
hace 1 año |
|
Michael Yang
|
11d82d7b9b
update checkvram
|
hace 1 año |
|
Michael Yang
|
92189a5855
fix memory check
|
hace 1 año |
|
Michael Yang
|
d790bf9916
Merge pull request #783 from jmorganca/mxyng/fix-gpu-offloading
|
hace 1 año |
|
Michael Yang
|
35afac099a
do not use gpu binary when num_gpu == 0
|
hace 1 año |
|
Michael Yang
|
811c3d1900
no gpu if vram < 2GB
|
hace 1 año |
|
Bruce MacDonald
|
6fe178134d
improve api error handling (#781)
|
hace 1 año |
|
Bruce MacDonald
|
56497663c8
relay model runner error message to client (#720)
|
hace 1 año |
|
Michael Yang
|
b599946b74
add format bytes
|
hace 1 año |
|
Bruce MacDonald
|
77295f716e
prevent waiting on exited command (#752)
|
hace 1 año |
|
Bruce MacDonald
|
f2ba1311aa
improve vram safety with 5% vram memory buffer (#724)
|
hace 1 año |
