 Michael Yang
|
cd22855ef8
refactor tensor read
|
há 1 ano atrás |
|
Michael Yang
|
eaed6f8c45
add max context length check
|
há 1 ano atrás |
 Jeffrey Morgan
|
08f1e18965
Offload layers to GPU based on new model size estimates (#1850)
|
há 1 ano atrás |
|
Michael Yang
|
56ffc3023a
remove per-model types
|
há 1 ano atrás |
|
Michael Yang
|
5a5dca13b2
comments
|
há 1 ano atrás |
|
Michael Yang
|
72e7a49aa9
seek instead of copyn
|
há 1 ano atrás |
|
Michael Yang
|
2cb0fa7d40
split from into one or more models
|
há 1 ano atrás |
|
Michael Yang
|
199941cd15
fix: gguf int type
|
há 1 ano atrás |
|
Michael Yang
|
c5e1bbabda
instead of static number of parameters for each model family, get the real number from the tensors (#1022)
|
há 1 ano atrás |
|
Michael Yang
|
125d0a013a
ggufv3
|
há 1 ano atrás |
|
Michael Yang
|
c02c0cd483
starcoder
|
há 1 ano atrás |
 Bruce MacDonald
|
86279f4ae3
unbound max num gpu layers (#591)
|
há 1 ano atrás |
|
Bruce MacDonald
|
4cba75efc5
remove tmp directories created by previous servers (#559)
|
há 1 ano atrás |
|
Bruce MacDonald
|
66003e1d05
subprocess improvements (#524)
|
há 1 ano atrás |
|
Bruce MacDonald
|
2540c9181c
support for packaging in multiple cuda runners (#509)
|
há 1 ano atrás |
|
Michael Yang
|
0c5a454361
fix model type for 70b
|
há 1 ano atrás |
|
Michael Yang
|
7dee25a07f
fix falcon decode
|
há 1 ano atrás |
|
Bruce MacDonald
|
09dd2aeff9
GGUF support (#441)
|
há 1 ano atrás |
