ホーム エクスプローラ ヘルプ
登録 サインイン
OpenSource
/
ollama
2
0
フォーク 0
ファイル 課題 0 プルリクエスト 0 Wiki
ブランチ: brucemacd/err-hint
ブランチ タグ
ollama
/
llama
/
runner
Azis Alvriyanto b901a712c6 docs: improve syntax highlighting in code blocks (#8854) 3 ヶ月 前
..
README.md b901a712c6 docs: improve syntax highlighting in code blocks (#8854) 3 ヶ月 前
cache.go 4879a234c4 build: Make target improvements (#7499) 5 ヶ月 前
cache_test.go 4879a234c4 build: Make target improvements (#7499) 5 ヶ月 前
image.go 4879a234c4 build: Make target improvements (#7499) 5 ヶ月 前
image_test.go 4879a234c4 build: Make target improvements (#7499) 5 ヶ月 前
runner.go 1deafd8254 llama: update vendored code to commit 46e3556 (#8308) 4 ヶ月 前
stop.go 4879a234c4 build: Make target improvements (#7499) 5 ヶ月 前
stop_test.go 4879a234c4 build: Make target improvements (#7499) 5 ヶ月 前

README.md

runner

Note: this is a work in progress

A minimial runner for loading a model and running inference via a http web server.

./runner -model <model binary>

Completion

curl -X POST -H "Content-Type: application/json" -d '{"prompt": "hi"}' http://localhost:8080/completion

Embeddings

curl -X POST -H "Content-Type: application/json" -d '{"prompt": "turn me into an embedding"}' http://localhost:8080/embedding