 Michael Yang
|
d51f15257c
Update llm/ggml.go
|
vor 11 Monaten |
|
Michael Yang
|
8f440d579a
fix q5_0, q5_1
|
vor 11 Monaten |
 Bruce MacDonald
|
d6f692ad1a
Add support for IQ1_S, IQ3_S, IQ2_S, IQ4_XS. IQ4_NL (#4322)
|
vor 11 Monaten |
|
Michael Yang
|
171eb040fc
simplify safetensors reading
|
vor 11 Monaten |
|
Michael Yang
|
1eb382da5a
add phi2 mem
|
vor 11 Monaten |
|
Michael Yang
|
eeb695261f
skip if same quantization
|
vor 1 Jahr |
|
Michael Yang
|
01811c176a
comments
|
vor 1 Jahr |
|
Michael Yang
|
9685c34509
quantize any fp16/fp32 model
|
vor 1 Jahr |
|
Michael Yang
|
435cc866a3
fix: mixtral graph
|
vor 1 Jahr |
|
Michael Yang
|
3cf483fe48
add stablelm graph calculation
|
vor 1 Jahr |
|
Michael Yang
|
a8b9b930b4
account for all non-repeating layers
|
vor 1 Jahr |
|
Michael Yang
|
3397eff0cd
mixtral mem
|
vor 1 Jahr |
|
Michael Yang
|
7e33a017c0
partial offloading
|
vor 1 Jahr |
|
Michael Yang
|
8b2c10061c
refactor tensor query
|
vor 1 Jahr |
|
Michael Yang
|
01f77ae25d
add command-r graph estimate
|
vor 1 Jahr |
|
Michael Yang
|
12e923e158
update graph size estimate
|
vor 1 Jahr |
|
Michael Yang
|
90f071c658
default head_kv to 1
|
vor 1 Jahr |
|
Michael Yang
|
91b3e4d282
update memory calcualtions
|
vor 1 Jahr |
|
Michael Yang
|
d338d70492
refactor model parsing
|
vor 1 Jahr |
 Patrick Devine
|
5a5efee46b
Add gemma safetensors conversion (#3250)
|
vor 1 Jahr |
|
Michael Yang
|
0085297928
refactor readseeker
|
vor 1 Jahr |
|
Michael Yang
|
76bdebbadf
decode ggla
|
vor 1 Jahr |
|
Patrick Devine
|
2c017ca441
Convert Safetensors to an Ollama model (#2824)
|
vor 1 Jahr |
|
Michael Yang
|
949d7b1c48
add gguf file types (#2532)
|
vor 1 Jahr |
|
Michael Yang
|
eaed6f8c45
add max context length check
|
vor 1 Jahr |
|
Michael Yang
|
2bb2bdd5d4
fix lint
|
vor 1 Jahr |
 Jeffrey Morgan
|
08f1e18965
Offload layers to GPU based on new model size estimates (#1850)
|
vor 1 Jahr |
|
Bruce MacDonald
|
811b1f03c8
deprecate ggml
|
vor 1 Jahr |
|
Jeffrey Morgan
|
d9a250e9b5
seek to end of file when decoding older model formats
|
vor 1 Jahr |
|
Jeffrey Morgan
|
944519ed16
seek to eof for older model binaries
|
vor 1 Jahr |
