Jesse Gross f66216e399 ggml: Support heterogeneous KV cache layer sizes in memory estimation 1 månad sedan
..
llm_darwin.go cd5c8f6471 Optimize container images for startup (#6547) 7 månader sedan
llm_linux.go cd5c8f6471 Optimize container images for startup (#6547) 7 månader sedan
llm_windows.go dbba73469d runner: Set windows above normal priority (#6905) 7 månader sedan
memory.go f66216e399 ggml: Support heterogeneous KV cache layer sizes in memory estimation 1 månad sedan
memory_test.go f66216e399 ggml: Support heterogeneous KV cache layer sizes in memory estimation 1 månad sedan
server.go f66216e399 ggml: Support heterogeneous KV cache layer sizes in memory estimation 1 månad sedan
server_test.go 2ddc32d5c5 llm: do not error on "null" format (#8139) 4 månader sedan
status.go 909a88c5c0 Improve crash reporting (#7728) 5 månader sedan