 Michael Yang
|
74bd09652d
ml/backend/ggml: load tensors in 32KiB chunks
|
vor 1 Monat |
 Bruce MacDonald
|
df94175a0f
ggml: return error on failure to read tensor data (#9872)
|
vor 1 Monat |
|
Michael Yang
|
021dcf089d
Merge pull request #9824 from ollama/mxyng/sched
|
vor 1 Monat |
 Jeffrey Morgan
|
364629b8d6
ml/backend/ggml: allocate memory with malloc when loading model (#9822)
|
vor 1 Monat |
|
Michael Yang
|
4561fff36e
conditionally enable parallel pipelines
|
vor 1 Monat |
|
Michael Yang
|
63a394068c
use 2d pooling
|
vor 1 Monat |
|
Michael Yang
|
c5cbe4fc2a
fallback to cpu
|
vor 1 Monat |
|
Michael Yang
|
9e4642e9b3
ollama debug tensor
|
vor 1 Monat |
|
Michael Yang
|
6b0486c216
duplicate token_embd to output
|
vor 1 Monat |
|
Michael Yang
|
8934324b72
use fast attention
|
vor 1 Monat |
|
Michael Yang
|
0df1800436
set non-causal attention
|
vor 1 Monat |
|
Michael Yang
|
4b037a97dc
add gemma vision encoder
|
vor 2 Monaten |
 Patrick Devine
|
5f74d1fd47
gemma2 impl
|
vor 2 Monaten |
 Jesse Gross
|
4100ed7bdd
ml: Add support for quantized KV cache
|
vor 2 Monaten |
|
Jesse Gross
|
25f9b152f9
ggml-backend: Ensure allocation meet backend requirements
|
vor 1 Monat |
|
Jesse Gross
|
98272fbd58
additional review comments
|
vor 1 Monat |
|
Michael Yang
|
b27e8f3f10
ml/backend/ggml: use backend buffer type
|
vor 2 Monaten |
|
Michael Yang
|
45df786f09
comments
|
vor 2 Monaten |
|
Michael Yang
|
daaf42e4a4
ml/backend/ggml: clean up
|
vor 2 Monaten |
|
Michael Yang
|
2dc60d4620
ml/backend/ggml: offload vision to cpu
|
vor 2 Monaten |
|
Michael Yang
|
b5312f30e8
ml/backend/ggml: handle tensor split
|
vor 2 Monaten |
|
Michael Yang
|
26c2e0bd35
ml/backend/ggml: handle user specified cpu offloading
|
vor 2 Monaten |
|
Michael Yang
|
bf920883d5
ml/backend/ggml: set cpu n_threads
|
vor 2 Monaten |
|
Michael Yang
|
7bae7fa5ce
ml/backend/ggml: create tensor on specific backend
|
vor 2 Monaten |
|
Michael Yang
|
764e199d67
kvcache: create cache ctx per layer
|
vor 2 Monaten |
|
Michael Yang
|
bfce55db3d
model: load non-repeated tensors into multiple backends
|
vor 2 Monaten |
|
Michael Yang
|
bab6f34dc0
ml/backend/ggml: update model loading for hybrid/multi backends
|
vor 2 Monaten |
|
Michael Yang
|
05a01fdecb
ml/backend/ggml: consolidate system info logging
|
vor 2 Monaten |
|
Jesse Gross
|
21aa666a1e
ml: Enable support for flash attention
|
vor 2 Monaten |
|
Jesse Gross
|
ee141cc821
ml: Empty tensor constructor for tensors
|
vor 2 Monaten |
