Pārlūkot izejas kodu

llm: enable flash attention by default

jmorganca 10 mēneši atpakaļ
vecāks
revīzija
d8b3e09fb7
1 mainītis faili ar 1 papildinājumiem un 0 dzēšanām
  1. 1 0
      envconfig/config.go

+ 1 - 0
envconfig/config.go

@@ -90,6 +90,7 @@ func init() {
 	NumParallel = 1
 	MaxRunners = 1
 	MaxQueuedRequests = 512
+	FlashAttention = true
 
 	LoadConfig()
 }