Explorar o código

show prompt/s in perf info ⏰

Danny Liu hai 1 ano
pai
achega
2eaad82a91
Modificáronse 1 ficheiros con 5 adicións e 0 borrados
  1. 5 0
      src/lib/components/chat/Messages/ResponseMessage.svelte

+ 5 - 0
src/lib/components/chat/Messages/ResponseMessage.svelte

@@ -79,6 +79,11 @@
 						) / 100
 					} tokens` ?? 'N/A'
 				}<br/>
+					prompt/s: ${
+						Math.round(
+							((message.info.prompt_eval_count ?? 0) / (message.info.prompt_eval_duration / 1000000000)) * 100
+						) / 100 ?? 'N/A'
+					} prompts<br/>
                     total_duration: ${
 											Math.round(((message.info.total_duration ?? 0) / 1000000) * 100) / 100 ??
 											'N/A'