Просмотр исходного кода

show prompt/s in perf info ⏰

Danny Liu 1 год назад
Родитель
Сommit
2eaad82a91
1 измененных файлов с 5 добавлено и 0 удалено
  1. 5 0
      src/lib/components/chat/Messages/ResponseMessage.svelte

+ 5 - 0
src/lib/components/chat/Messages/ResponseMessage.svelte

@@ -79,6 +79,11 @@
 						) / 100
 						) / 100
 					} tokens` ?? 'N/A'
 					} tokens` ?? 'N/A'
 				}<br/>
 				}<br/>
+					prompt/s: ${
+						Math.round(
+							((message.info.prompt_eval_count ?? 0) / (message.info.prompt_eval_duration / 1000000000)) * 100
+						) / 100 ?? 'N/A'
+					} prompts<br/>
                     total_duration: ${
                     total_duration: ${
 											Math.round(((message.info.total_duration ?? 0) / 1000000) * 100) / 100 ??
 											Math.round(((message.info.total_duration ?? 0) / 1000000) * 100) / 100 ??
 											'N/A'
 											'N/A'