Historial de Commits

Autor SHA1 Mensaje Fecha
  Daniel Hiltgen be330174dd Allow setting max vram for workarounds hace 1 año
  peanut256 a189810df6 Determine max VRAM on macOS using `recommendedMaxWorkingSetSize` (#2354) hace 1 año
  Daniel Hiltgen 7427fa1387 Fix up the CPU fallback selection hace 1 año
  Daniel Hiltgen 39928a42e8 Always dynamically load the llm server library hace 1 año
  Daniel Hiltgen d88c527be3 Build multiple CPU variants and pick the best hace 1 año
  Jeffrey Morgan c336693f07 calculate overhead based number of gpu devices (#1875) hace 1 año
  Jeffrey Morgan 08f1e18965 Offload layers to GPU based on new model size estimates (#1850) hace 1 año
  Jeffrey Morgan c7ea8f237e set `num_gpu` to 1 only by default on darwin arm64 (#1771) hace 1 año
  Daniel Hiltgen a2ad952440 Fix windows system memory lookup hace 1 año
  Daniel Hiltgen d966b730ac Switch windows build to fully dynamic hace 1 año
  Daniel Hiltgen 7555ea44f8 Revamp the dynamic library shim hace 1 año
  Daniel Hiltgen 6558f94ed0 Fix darwin intel build hace 1 año
  Daniel Hiltgen 35934b2e05 Adapted rocm support to cgo based llama.cpp hace 1 año