 Sam
|
1bdab9fdb1
llm: introduce k/v context quantization (vRAM improvements) (#6279)
|
vor 5 Monaten |
 Michael Yang
|
d07cf41a97
refactor kv estimation
|
vor 6 Monaten |
|
Michael Yang
|
8c238e70ab
mllama cross attention
|
vor 6 Monaten |
 Patrick Devine
|
c7cb0f0602
image processing for llama3.2 (#6963)
|
vor 6 Monaten |
 frob
|
09035b71cd
Add missing BF16 tensor type. (#7193)
|
vor 6 Monaten |
|
Michael Yang
|
bf612cd608
Merge pull request #6260 from ollama/mxyng/mem
|
vor 8 Monaten |
 Patrick Devine
|
0c819e167b
convert safetensor adapters into GGUF (#6327)
|
vor 8 Monaten |
|
Michael Yang
|
6ffb5cb017
add conversion for microsoft phi 3 mini/medium 4k, 128
|
vor 11 Monaten |
|
Michael Yang
|
2003d60159
llama3.1 memory
|
vor 8 Monaten |
|
Michael Yang
|
6b252918fb
update convert test to check result data
|
vor 11 Monaten |
|
Michael Yang
|
5a739ff4cb
chatglm graph
|
vor 9 Monaten |
|
Michael Yang
|
de2163dafd
gemma2 graph
|
vor 10 Monaten |
 Blake Mizerany
|
cb42e607c5
llm: speed up gguf decoding by a lot (#5246)
|
vor 10 Monaten |
|
Michael Yang
|
8e0641a9bf
handle asymmetric embedding KVs
|
vor 10 Monaten |
|
Michael Yang
|
e873841cbb
deepseek v2 graph
|
vor 10 Monaten |
 Daniel Hiltgen
|
6fd04ca922
Improve multi-gpu handling at the limit
|
vor 11 Monaten |
|
Michael Yang
|
7bdcd1da94
Revert "Merge pull request #4938 from ollama/mxyng/fix-byte-order"
|
vor 10 Monaten |
|
Michael Yang
|
620d5c569e
fix parsing big endian gguf
|
vor 10 Monaten |
|
Michael Yang
|
9b6c2e6eb6
detect chat template from KV
|
vor 11 Monaten |
|
Michael Yang
|
d51f15257c
Update llm/ggml.go
|
vor 11 Monaten |
|
Michael Yang
|
8f440d579a
fix q5_0, q5_1
|
vor 11 Monaten |
 Bruce MacDonald
|
d6f692ad1a
Add support for IQ1_S, IQ3_S, IQ2_S, IQ4_XS. IQ4_NL (#4322)
|
vor 11 Monaten |
|
Michael Yang
|
171eb040fc
simplify safetensors reading
|
vor 11 Monaten |
|
Michael Yang
|
1eb382da5a
add phi2 mem
|
vor 11 Monaten |
|
Michael Yang
|
eeb695261f
skip if same quantization
|
vor 1 Jahr |
|
Michael Yang
|
01811c176a
comments
|
vor 1 Jahr |
|
Michael Yang
|
9685c34509
quantize any fp16/fp32 model
|
vor 1 Jahr |
|
Michael Yang
|
435cc866a3
fix: mixtral graph
|
vor 1 Jahr |
|
Michael Yang
|
3cf483fe48
add stablelm graph calculation
|
vor 1 Jahr |
|
Michael Yang
|
a8b9b930b4
account for all non-repeating layers
|
vor 1 Jahr |
