소스 검색

Return Correct Prompt Eval Count Regardless of Cache Prompt (#5371)

* openai compatibility

* Revert "openai compatibility"

This reverts commit d3f98a811e00fc497d889c8c45b0cfec5b64690c.

* remove erroneous subtraction of prompt cache
royjhan 10 달 전
부모
커밋
3b5a4a77f3
1개의 변경된 파일1개의 추가작업 그리고 1개의 파일을 삭제
  1. 1 1
      llm/ext_server/server.cpp

+ 1 - 1
llm/ext_server/server.cpp

@@ -1732,7 +1732,7 @@ struct llama_server_context
                             slot.n_past -= 1;
                         }
 
-                        slot.n_prompt_tokens_processed = slot.n_prompt_tokens - slot.n_past;
+                        slot.n_prompt_tokens_processed = slot.n_prompt_tokens;
 
                         if (slot.ga_n != 1)
                         {