 Michael Yang
|
fadf75f99d
add stop conditions
|
hai 1 ano |
|
Michael Yang
|
ad3a7d0e2c
add NumGQA
|
hai 1 ano |
|
Michael Yang
|
cca61181cb
sample metrics
|
hai 1 ano |
|
Michael Yang
|
c490416189
lock on llm.lock(); decrease batch size
|
hai 1 ano |
|
Michael Yang
|
f62a882760
add session expiration
|
hai 1 ano |
|
Michael Yang
|
3003fc03fc
update predict code
|
hai 1 ano |
|
Michael Yang
|
35af37a2cb
session id
|
hai 1 ano |
|
Michael Yang
|
726bc647b2
enable k quants
|
hai 1 ano |
|
Michael Yang
|
cb55fa9270
enable accelerate
|
hai 1 ano |
|
Michael Yang
|
b71c67b6ba
allocate a large enough tokens slice
|
hai 1 ano |
|
Michael Yang
|
40c9dc0a31
fix multibyte responses
|
hai 1 ano |
|
Michael Yang
|
0142660bd4
size_t
|
hai 1 ano |
|
Michael Yang
|
1775647f76
continue conversation
|
hai 1 ano |
|
Michael Yang
|
05e08d2310
return more info in generate response
|
hai 1 ano |
|
Michael Yang
|
e1f0a0dc74
fix eof error in generate
|
hai 1 ano |
 Jeffrey Morgan
|
c63f811909
return error if model fails to load
|
hai 1 ano |
|
Michael Yang
|
442dec1c6f
vendor llama.cpp
|
hai 1 ano |
|
Michael Yang
|
fd4792ec56
call llama.cpp directly from go
|
hai 1 ano |
|
Jeffrey Morgan
|
5fb96255dc
llama: remove unused helper functions
|
hai 1 ano |
 Patrick Devine
|
3f1b7177f2
pass model and predict options
|
hai 1 ano |
|
Michael Yang
|
5dc9c8ff23
more free
|
hai 1 ano |
 Bruce MacDonald
|
da74384a3e
remove prompt cache
|
hai 1 ano |
|
Michael Yang
|
2c80eddd71
more free
|
hai 1 ano |
|
Jeffrey Morgan
|
9fe018675f
use `Makefile` for dependency building instead of `go generate`
|
hai 1 ano |
|
Jeffrey Morgan
|
0998d4f0a4
remove debug print statements
|
hai 1 ano |
|
Jeffrey Morgan
|
79a999e95d
fix crash in bindings
|
hai 1 ano |
|
Jeffrey Morgan
|
fd962a36e5
client updates
|
hai 1 ano |
|
Jeffrey Morgan
|
0240165388
fix llama.cpp build
|
hai 1 ano |
|
Jeffrey Morgan
|
6093a88c1a
add llama.cpp go bindings
|
hai 1 ano |
