Domů Procházet Nápověda
Registrovat se Přihlásit se
OpenSource
/
ollama
2
0
Rozštěpit 0
Soubory Úkoly 0 Pull Requesty 0 Wiki
Větev: brucemacd/convert-cli
Větve Značky
ollama
/
llama
/
runner
Jeffrey Morgan 1deafd8254 llama: update vendored code to commit 46e3556 (#8308) před 3 měsíci
..
README.md 3919f4ba3d llama: fix runner api example url in README.md (#8307) před 3 měsíci
cache.go 4879a234c4 build: Make target improvements (#7499) před 4 měsíci
cache_test.go 4879a234c4 build: Make target improvements (#7499) před 4 měsíci
image.go 4879a234c4 build: Make target improvements (#7499) před 4 měsíci
image_test.go 4879a234c4 build: Make target improvements (#7499) před 4 měsíci
runner.go 1deafd8254 llama: update vendored code to commit 46e3556 (#8308) před 3 měsíci
stop.go 4879a234c4 build: Make target improvements (#7499) před 4 měsíci
stop_test.go 4879a234c4 build: Make target improvements (#7499) před 4 měsíci

README.md

runner

Note: this is a work in progress

A minimial runner for loading a model and running inference via a http web server.

./runner -model <model binary>

Completion

curl -X POST -H "Content-Type: application/json" -d '{"prompt": "hi"}' http://localhost:8080/completion

Embeddings

curl -X POST -H "Content-Type: application/json" -d '{"prompt": "turn me into an embedding"}' http://localhost:8080/embedding