 Michael Yang
|
949d7b1c48
add gguf file types (#2532)
|
hace 1 año |
|
Michael Yang
|
cd22855ef8
refactor tensor read
|
hace 1 año |
|
Michael Yang
|
eaed6f8c45
add max context length check
|
hace 1 año |
 Jeffrey Morgan
|
08f1e18965
Offload layers to GPU based on new model size estimates (#1850)
|
hace 1 año |
|
Michael Yang
|
56ffc3023a
remove per-model types
|
hace 1 año |
|
Michael Yang
|
5a5dca13b2
comments
|
hace 1 año |
|
Michael Yang
|
72e7a49aa9
seek instead of copyn
|
hace 1 año |
|
Michael Yang
|
2cb0fa7d40
split from into one or more models
|
hace 1 año |
|
Michael Yang
|
199941cd15
fix: gguf int type
|
hace 1 año |
|
Michael Yang
|
c5e1bbabda
instead of static number of parameters for each model family, get the real number from the tensors (#1022)
|
hace 1 año |
|
Michael Yang
|
125d0a013a
ggufv3
|
hace 1 año |
|
Michael Yang
|
c02c0cd483
starcoder
|
hace 1 año |
 Bruce MacDonald
|
86279f4ae3
unbound max num gpu layers (#591)
|
hace 1 año |
|
Bruce MacDonald
|
4cba75efc5
remove tmp directories created by previous servers (#559)
|
hace 1 año |
|
Bruce MacDonald
|
66003e1d05
subprocess improvements (#524)
|
hace 1 año |
|
Bruce MacDonald
|
2540c9181c
support for packaging in multiple cuda runners (#509)
|
hace 1 año |
|
Michael Yang
|
0c5a454361
fix model type for 70b
|
hace 1 año |
|
Michael Yang
|
7dee25a07f
fix falcon decode
|
hace 1 año |
|
Bruce MacDonald
|
09dd2aeff9
GGUF support (#441)
|
hace 1 año |
