 Bruce MacDonald
|
7a5f3616fd
embed text document in modelfile
|
hace 1 año |
 Michael Yang
|
f2074ed4c0
Merge pull request #306 from jmorganca/default-keep-system
|
hace 1 año |
|
Bruce MacDonald
|
a6f6d18f83
embed text document in modelfile
|
hace 1 año |
 Jeffrey Morgan
|
5eb712f962
trim whitespace before checking stop conditions
|
hace 1 año |
|
Michael Yang
|
4dc5b117dd
automatically set num_keep if num_keep < 0
|
hace 1 año |
|
Michael Yang
|
b9f4d67554
configurable rope frequency parameters
|
hace 1 año |
|
Michael Yang
|
c5bcf32823
update llama.cpp
|
hace 1 año |
|
Michael Yang
|
74a5f7e698
no gpu for 70B model
|
hace 1 año |
|
Michael Yang
|
319f078dd9
remove -Werror
|
hace 1 año |
|
Jeffrey Morgan
|
7da249fcc1
only build metal for `darwin,arm` target
|
hace 1 año |
|
Bruce MacDonald
|
184ad8f057
allow specifying stop conditions in modelfile
|
hace 1 año |
|
Michael Yang
|
3549676678
embed ggml-metal.metal
|
hace 1 año |
|
Michael Yang
|
fadf75f99d
add stop conditions
|
hace 1 año |
|
Michael Yang
|
ad3a7d0e2c
add NumGQA
|
hace 1 año |
|
Michael Yang
|
cca61181cb
sample metrics
|
hace 1 año |
|
Michael Yang
|
c490416189
lock on llm.lock(); decrease batch size
|
hace 1 año |
|
Michael Yang
|
f62a882760
add session expiration
|
hace 1 año |
|
Michael Yang
|
3003fc03fc
update predict code
|
hace 1 año |
|
Michael Yang
|
35af37a2cb
session id
|
hace 1 año |
|
Michael Yang
|
726bc647b2
enable k quants
|
hace 1 año |
|
Michael Yang
|
cb55fa9270
enable accelerate
|
hace 1 año |
|
Michael Yang
|
b71c67b6ba
allocate a large enough tokens slice
|
hace 1 año |
|
Michael Yang
|
40c9dc0a31
fix multibyte responses
|
hace 1 año |
|
Michael Yang
|
0142660bd4
size_t
|
hace 1 año |
|
Michael Yang
|
1775647f76
continue conversation
|
hace 1 año |
|
Michael Yang
|
05e08d2310
return more info in generate response
|
hace 1 año |
|
Michael Yang
|
e1f0a0dc74
fix eof error in generate
|
hace 1 año |
|
Jeffrey Morgan
|
c63f811909
return error if model fails to load
|
hace 1 año |
|
Michael Yang
|
442dec1c6f
vendor llama.cpp
|
hace 1 año |
|
Michael Yang
|
fd4792ec56
call llama.cpp directly from go
|
hace 1 año |
