浏览代码

defaut timeout

Roy Han 10 月之前
父节点
当前提交
d77a174eb4
共有 1 个文件被更改,包括 2 次插入0 次删除
  1. 2 0
      llm/server.go

+ 2 - 0
llm/server.go

@@ -166,6 +166,8 @@ func NewLlamaServer(gpus gpu.GpuInfoList, model string, ggml *GGML, adapters, pr
 
 	params = append(params, "--log-disable")
 
+	params = append(params, "--timeout", fmt.Sprintf("%d", 600))
+
 	if opts.NumGPU >= 0 {
 		params = append(params, "--n-gpu-layers", fmt.Sprintf("%d", opts.NumGPU))
 	}