浏览代码

log embedding eval timing

Bruce MacDonald 1 年之前
父节点
当前提交
2ab20095b3
共有 1 个文件被更改,包括 2 次插入0 次删除
  1. 2 0
      llm/llama.go

+ 2 - 0
llm/llama.go

@@ -471,6 +471,8 @@ func (llm *llama) Embedding(input string) ([]float64, error) {
 		return nil, errors.New("llama: eval")
 		return nil, errors.New("llama: eval")
 	}
 	}
 
 
+	C.llama_print_timings(llm.ctx)
+
 	n := C.llama_n_embd(llm.ctx)
 	n := C.llama_n_embd(llm.ctx)
 	if n <= 0 {
 	if n <= 0 {
 		return nil, errors.New("llama: no embeddings generated")
 		return nil, errors.New("llama: no embeddings generated")