OpenSource/ollama

Tác giả	SHA1 Thông báo	Ngày
Jeffrey Morgan	dfa2f32ca0 unload in critical section (#4187)	1 năm trước cách đây
Daniel Hiltgen	f56aa20014 Centralize server config handling	1 năm trước cách đây
Jeffrey Morgan	942c979232 allocate a large enough kv cache for all parallel requests (#4162)	1 năm trước cách đây
Daniel Hiltgen	20f6c06569 Make maximum pending request configurable	1 năm trước cách đây
Mark Ward	63c763685f log when the waiting for the process to stop to help debug when other tasks execute during this wait.	1 năm trước cách đây
Mark Ward	f4a73d57a4 fix runner expire during active use. Clearing the expire timer as it is used. Allowing the finish to assign an expire timer so that the runner will expire after no use.	1 năm trước cách đây
Daniel Hiltgen	d6e3b64582 Fix concurrency for CPU mode	1 năm trước cách đây
Daniel Hiltgen	9b5a3c5991 Merge pull request #3914 from dhiltgen/mac_perf	1 năm trước cách đây
Jeffrey Morgan	00b0699c75 Reload model if `num_gpu` changes (#3920)	1 năm trước cách đây
Daniel Hiltgen	b123be5b71 Adjust context size for parallelism	1 năm trước cách đây
Bryce Reitano	36a6daccab Restructure loading conditional chain	1 năm trước cách đây
Bryce Reitano	284e02bed0 Move ggml loading to when we attempt fitting	1 năm trước cách đây
Daniel Hiltgen	34b9db5afc Request and model concurrency	1 năm trước cách đây