Bruce MacDonald
|
42998d797d
subprocess llama.cpp server (#401)
|
1 yıl önce |
Michael Yang
|
b25dd1795d
allow F16 to use metal
|
1 yıl önce |
Michael Yang
|
304f2b6c96
add 34b to mem check
|
1 yıl önce |
Michael Yang
|
a894cc792d
model and file type as strings
|
1 yıl önce |
Michael Yang
|
e26085b921
close open files
|
1 yıl önce |
Michael Yang
|
6de5d032e1
implement loading ggml lora adapters through the modelfile
|
1 yıl önce |
Michael Yang
|
d791df75dd
check memory requirements before loading
|
1 yıl önce |
Michael Yang
|
020a3b3530
disable gpu for q5_0, q5_1, q8_0 quants
|
1 yıl önce |
Michael Yang
|
fccf8d179f
partial decode ggml bin for more info
|
1 yıl önce |