Commit History

Автор SHA1 Съобщение Дата
  Michael Yang 199941cd15 fix: gguf int type преди 1 година
  Michael Yang c5e1bbabda instead of static number of parameters for each model family, get the real number from the tensors (#1022) преди 1 година
  Michael Yang 125d0a013a ggufv3 преди 1 година
  Michael Yang c02c0cd483 starcoder преди 1 година
  Bruce MacDonald 86279f4ae3 unbound max num gpu layers (#591) преди 1 година
  Bruce MacDonald 4cba75efc5 remove tmp directories created by previous servers (#559) преди 1 година
  Bruce MacDonald 66003e1d05 subprocess improvements (#524) преди 1 година
  Bruce MacDonald 2540c9181c support for packaging in multiple cuda runners (#509) преди 1 година
  Michael Yang 0c5a454361 fix model type for 70b преди 1 година
  Michael Yang 7dee25a07f fix falcon decode преди 1 година
  Bruce MacDonald 09dd2aeff9 GGUF support (#441) преди 1 година