Daniel Hiltgen
4e988ad5d6
Move Go code out of llm package
|
6 månader sedan | |
|---|---|---|
| .. | ||
| README.md | 6 månader sedan | |
| amd_common.go | 6 månader sedan | |
| amd_hip_windows.go | 6 månader sedan | |
| amd_linux.go | 6 månader sedan | |
| amd_windows.go | 6 månader sedan | |
| cpu_common.go | 6 månader sedan | |
| cuda_common.go | 6 månader sedan | |
| gpu.go | 6 månader sedan | |
| gpu_darwin.go | 6 månader sedan | |
| gpu_info.h | 6 månader sedan | |
| gpu_info_cudart.c | 6 månader sedan | |
| gpu_info_cudart.h | 6 månader sedan | |
| gpu_info_darwin.h | 6 månader sedan | |
| gpu_info_darwin.m | 6 månader sedan | |
| gpu_info_nvcuda.c | 6 månader sedan | |
| gpu_info_nvcuda.h | 6 månader sedan | |
| gpu_info_nvml.c | 6 månader sedan | |
| gpu_info_nvml.h | 6 månader sedan | |
| gpu_info_oneapi.c | 6 månader sedan | |
| gpu_info_oneapi.h | 6 månader sedan | |
| gpu_linux.go | 6 månader sedan | |
| gpu_oneapi.go | 6 månader sedan | |
| gpu_test.go | 6 månader sedan | |
| gpu_windows.go | 6 månader sedan | |
| gpu_windows_test.go | 6 månader sedan | |
| types.go | 6 månader sedan | |
README.md
discover
This package is responsible for discovering information about the system and the capabilities to run LLM. This includes GPU and CPU discovery so the optimal runner can be chosen for a given model. The ollama scheduler relies on up-to-date available memory information, so this package provides the ability to refresh free memory as efficiently as possible.