 Michael Yang
|
2697d7f5aa
lint
|
hace 8 meses |
|
Michael Yang
|
b732beba6a
lint
|
hace 9 meses |
|
Michael Yang
|
5c1912769e
Merge pull request #5473 from ollama/mxyng/environ
|
hace 9 meses |
 Daniel Hiltgen
|
345420998e
Prevent partial loading on mixed GPU brands
|
hace 9 meses |
|
Michael Yang
|
85d9d73a72
comments
|
hace 9 meses |
|
Michael Yang
|
0f1910129f
int
|
hace 10 meses |
|
Michael Yang
|
8570c1c0ef
keepalive
|
hace 10 meses |
|
Michael Yang
|
55cd3ddcca
bool
|
hace 10 meses |
 Jeffrey Morgan
|
791650ddef
sched: only error when over-allocating system memory (#5626)
|
hace 9 meses |
|
Jeffrey Morgan
|
e4ff73297d
server: fix model reloads when setting `OLLAMA_NUM_PARALLEL` (#5560)
|
hace 9 meses |
|
Jeffrey Morgan
|
0ee87615c7
sched: don't error if paging to disk on Windows and macOS (#5523)
|
hace 10 meses |
 Daniel Hiltgen
|
af28b94533
Merge pull request #5469 from dhiltgen/prevent_system_oom
|
hace 10 meses |
|
Daniel Hiltgen
|
955f2a4e03
Only set default keep_alive on initial model load
|
hace 10 meses |
|
Daniel Hiltgen
|
3c75113e37
Prevent loading models larger than total memory
|
hace 10 meses |
|
Daniel Hiltgen
|
cff3f44f4a
Fix case for NumCtx
|
hace 10 meses |
|
Daniel Hiltgen
|
3518aaef33
Merge pull request #4218 from dhiltgen/auto_parallel
|
hace 10 meses |
 Blake Mizerany
|
cb42e607c5
llm: speed up gguf decoding by a lot (#5246)
|
hace 10 meses |
|
Daniel Hiltgen
|
9929751cc8
Disable concurrency for AMD + Windows
|
hace 10 meses |
|
Daniel Hiltgen
|
17b7186cd7
Enable concurrency by default
|
hace 1 año |
|
Daniel Hiltgen
|
6f351bf586
review comments and coverage
|
hace 11 meses |
|
Daniel Hiltgen
|
ff4f0cbd1d
Prevent multiple concurrent loads on the same gpus
|
hace 11 meses |
|
Daniel Hiltgen
|
fc37c192ae
Refine CPU load behavior with system memory visibility
|
hace 11 meses |
|
Daniel Hiltgen
|
434dfe30c5
Reintroduce nvidia nvml library for windows
|
hace 11 meses |
|
Daniel Hiltgen
|
48702dd149
Harden unload for empty runners
|
hace 11 meses |
|
Daniel Hiltgen
|
5e8ff556cb
Support forced spreading for multi GPU
|
hace 11 meses |
|
Michael Yang
|
e40145a39d
lint
|
hace 11 meses |
|
Michael Yang
|
c895a7d13f
some gocritic
|
hace 11 meses |
|
Michael Yang
|
04f3c12bb7
replace x/exp/slices with slices
|
hace 11 meses |
 Patrick Devine
|
4cc3be3035
Move envconfig and consolidate env vars (#4608)
|
hace 11 meses |
 Sang Park
|
4434d7f447
Correct typo in error message (#4535)
|
hace 11 meses |
