Ver Fonte

log embedding eval timing

Bruce MacDonald há 1 ano atrás
pai
commit
56fd4e4ef2
1 ficheiros alterados com 3 adições e 0 exclusões
  1. 3 0
      llm/llama.go

+ 3 - 0
llm/llama.go

@@ -471,6 +471,9 @@ func (llm *llama) Embedding(input string) ([]float64, error) {
 		return nil, errors.New("llama: eval")
 		return nil, errors.New("llama: eval")
 	}
 	}
 
 
+	timings := C.llama_get_timings(llm.ctx)
+	log.Printf("embed: eval_ms=%v", parseDurationMs(float64(timings.t_p_eval_ms)))
+
 	n := C.llama_n_embd(llm.ctx)
 	n := C.llama_n_embd(llm.ctx)
 	if n <= 0 {
 	if n <= 0 {
 		return nil, errors.New("llama: no embeddings generated")
 		return nil, errors.New("llama: no embeddings generated")