Inicio Explorar Ayuda
Registro Iniciar sesión
OpenSource
/
ollama
2
0
Fork 0
Archivos Incidencias 0 Pull Requests 0 Wiki
Árbol: 6df83e6daa
Ramas Etiquetas

Historial de Commits

Autor SHA1 Mensaje Fecha
  Jeffrey Morgan 6df83e6daa update rough cuda overhead estimate to 15% + 384MiB hace 1 año
  Jeffrey Morgan 6164f378f2 revert cuda overhead to 20% hace 1 año
  Jeffrey Morgan 6566387ae3 add `TODO` for cuda overhead hace 1 año
  Jeffrey Morgan 37708931fb update cuda overhead to 20% to fix crashes when switching between models and large context sizes hace 1 año
  Jeffrey Morgan f6cb0a553c update cuda overhead to 15% or 400MiB hace 1 año
  Jeffrey Morgan 2680078c13 fix build on linux hace 1 año
  Jeffrey Morgan f1b7e5f560 update overhead to 15% hace 1 año
  Jeffrey Morgan cb534e6ac2 use 10% vram overhead for cuda hace 1 año
  Jeffrey Morgan 08f1e18965 Offload layers to GPU based on new model size estimates (#1850) hace 1 año
  Daniel Hiltgen d74ce6bd4f Detect very old CUDA GPUs and fall back to CPU hace 1 año
  Daniel Hiltgen a2ad952440 Fix windows system memory lookup hace 1 año
  Daniel Hiltgen d966b730ac Switch windows build to fully dynamic hace 1 año
  Daniel Hiltgen 7555ea44f8 Revamp the dynamic library shim hace 1 año
  Daniel Hiltgen 1b991d0ba9 Refine build to support CPU only hace 1 año
  Daniel Hiltgen 35934b2e05 Adapted rocm support to cgo based llama.cpp hace 1 año