浏览代码

fix eof error in generate

Michael Yang 1 年之前
父节点
当前提交
e1f0a0dc74
共有 1 个文件被更改,包括 2 次插入2 次删除
  1. 2 2
      llama/llama.go

+ 2 - 2
llama/llama.go

@@ -199,10 +199,10 @@ func (llm *llama) generate(tokens []C.llama_token, fn func(string)) error {
 
 		token, err := llm.sample(pastTokens, &opts)
 		switch {
-		case err != nil:
-			return err
 		case errors.Is(err, io.EOF):
 			return nil
+		case err != nil:
+			return err
 		}
 
 		fn(llm.detokenize(token))