Browse Source

llm: Fix debug logging for memory estimates

Jesse Gross 1 tháng trước cách đây
mục cha
commit
f4f0992b6e
1 tập tin đã thay đổi với 1 bổ sung1 xóa
  1. 1 1
      llm/memory.go

+ 1 - 1
llm/memory.go

@@ -374,7 +374,7 @@ func (m MemoryEstimate) LogValue() slog.Value {
 			slog.Group(
 			slog.Group(
 				"weights",
 				"weights",
 				// memory of the weights
 				// memory of the weights
-				"total", format.HumanBytes2(m.memoryWeights),
+				"total", format.HumanBytes2(m.memoryWeights+m.memoryLayerOutput),
 				// memory of repeating layers
 				// memory of repeating layers
 				"repeating", format.HumanBytes2(m.memoryWeights),
 				"repeating", format.HumanBytes2(m.memoryWeights),
 				// memory of non-repeating layers
 				// memory of non-repeating layers