[Performance] Streaming persistence rewrites the full message on every delta
Maintainer thường phản hồi trong vòng 1 ngày
Đánh giá
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức phù hợp với người mới
- 42/100
- Loại issue
- Lỗi
- Độ rõ ràng
- Đặc tả rõ ràng
- Mức độ hoạt động
- Sôi nổi
- Công nghệ
- go, sqlite
- Lĩnh vực
- backend, databases, performance
Hướng nghiên cứu
Start with pkg/runtime/persistence_observer.go and pkg/session/store.go to trace how each delta reaches the SQLite update; read pkg/runtime/observer.go to understand synchronous event delivery. Use the supplied fake-provider probe to reproduce the write growth, then add regression coverage for bounded checkpoint writes, final persisted content, completion, and cancellation. Done means persistence reduces repeated full-message writes while preserving the stated recovery behavior.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
Severity: medium · Type: performance
Location
Reviewed commit: cd65d7c776dda80d554735ee20572d09cfe2d791.
pkg/runtime/persistence_observer.go:92–102: persists each assistant text/reasoning delta.pkg/runtime/persistence_observer.go:203–229: sends the entire accumulated message to the store on every delta.pkg/session/store.go:1312–1326: marshals and replaces the fullmessage_jsonon each update.pkg/runtime/observer.go:80–84: observers run synchronously before forwarding events to the consumer.
Issue details
Incremental persistence repeatedly serializes the growing message, yielding quadratic cumulative payload volume for fixed-size deltas. The SQLite adapter executes one full-row JSON update per delta, on the event-delivery path. This buys fine-grained recovery, but long responses and reasoning streams pay for all their previous content again on every chunk.
A fake provider plus counting store exercised the actual public runtime and its stock persistence observer, with no model API requests:
| 16-byte text chunks | Final text bytes | Assistant writes (including finalization) | Cumulative text bytes passed to store | JSON bytes serialized with the same json.Marshal(msg.Message) as SQLite |
|---|---|---|---|---|
| 1,024 | 16,384 | 1,025 | 8,413,184 | 8,500,393 |
| 2,048 | 32,768 | 2,049 | 33,603,584 | 33,777,833 |
| 4,096 | 65,536 | 4,097 | 134,316,032 | 134,664,361 |
Doubling the final response roughly quadruples cumulative payload volume. These numbers measure the observer/store contract and JSON serialization volume; they are not a disk-I/O or end-to-end latency benchmark. The SQLite source establishes that each update serializes and sends the full message to an SQL update.
Save the following as /tmp/persistence-probe.go and run go run /tmp/persistence-probe.go from the repository root:
package main
import (
"context"
"encoding/json"
"fmt"
"io"
"strings"
"github.com/docker/docker-agent/pkg/agent"
"github.com/docker/docker-agent/pkg/chat"
"github.com/docker/docker-agent/pkg/config/latest"
"github.com/docker/docker-agent/pkg/model/provider/contracts"
"github.com/docker/docker-agent/pkg/modelsdev"
"github.com/docker/docker-agent/pkg/runtime"
"github.com/docker/docker-agent/pkg/session"
"github.com/docker/docker-agent/pkg/team"
"github.com/docker/docker-agent/pkg/tools"
)
type countingStore struct {
session.Store
writes, contentBytes, jsonBytes int
}
func (s *countingStore) AddMessage(ctx context.Context, id string, msg *session.Message) (int64, error) {
s.record(msg)
return s.Store.AddMessage(ctx, id, msg)
}
func (s *countingStore) UpdateMessage(ctx context.Context, sid string, id int64, msg *session.Message) error {
s.record(msg)
return s.Store.UpdateMessage(ctx, sid, id, msg)
}
func (s *countingStore) record(msg *session.Message) {
if msg.Message.Role != chat.MessageRoleAssistant { return }
s.writes++
s.contentBytes += len(msg.Message.Content)
b, err := json.Marshal(msg.Message)
if err != nil { panic(err) }
s.jsonBytes += len(b)
}
type fakeProvider struct { n int }
func (p fakeProvider) ID() modelsdev.ID { return modelsdev.NewID("test", "mock") }
func (p fakeProvider) BaseConfig() contracts.Config {
return contracts.Config{ModelConfig: latest.ModelConfig{Provider: "test", Model: "mock"}}
}
func (p fakeProvider) CreateChatCompletionStream(context.Context, []chat.Message, []tools.Tool) (chat.MessageStream, error) {
return &fakeStream{n: p.n}, nil
}
type fakeStream struct { n, i int }
func (s *fakeStream) Recv() (chat.MessageStreamResponse, error) {
if s.i > s.n { return chat.MessageStreamResponse{}, io.EOF }
choice := chat.MessageStreamChoice{}
if s.i == s.n { choice.FinishReason = chat.FinishReasonStop } else { choice.Delta.Content = strings.Repeat("x", 16) }
s.i++
return chat.MessageStreamResponse{Choices: []chat.MessageStreamChoice{choice}}, nil
}
func (*fakeStream) Close() {}
type fakeCatalog struct{}
func (fakeCatalog) GetModel(context.Context, modelsdev.ID) (*modelsdev.Model, error) { return nil, nil }
func (fakeCatalog) GetDatabase(context.Context) (*modelsdev.Database, error) { return &modelsdev.Database{}, nil }
func main() {
for _, n := range []int{1024, 2048, 4096} {
ctx := context.Background()
store := &countingStore{Store: session.NewInMemorySessionStore()}
a := agent.New("root", "Respond.", agent.WithModel(fakeProvider{n: n}))
rt, err := runtime.New(ctx, team.New(team.WithAgents(a)), runtime.WithSessionStore(store), runtime.WithModelStore(fakeCatalog{}), runtime.WithSessionCompaction(false))
if err != nil { panic(err) }
sess := session.New(session.WithUserMessage("hi"), session.WithNonInteractive(true))
for ev := range rt.RunStream(ctx, sess) {
if e, ok := ev.(*runtime.ErrorEvent); ok { panic(e.Error) }
}
if err := rt.Close(); err != nil { panic(err) }
fmt.Printf("chunks=%d final_bytes=%d assistant_writes=%d cumulative_content_bytes=%d serialized_json_bytes=%d\n", n, n*16, store.writes, store.contentBytes, store.jsonBytes)
}
}
Impact
Large text/reasoning replies cause avoidable serialization, allocations and database updates. Because persistence is synchronous, slower storage also delays delivery to the terminal/UI and downstream observers. Concurrent sessions amplify pressure on the store.
Recommended fix
Coalesce persistence updates by time and/or added byte count, with bounded buffering and a guaranteed final flush on message completion and lifecycle teardown. Preserve partial recovery semantics explicitly. Alternatively store append-only deltas with periodic snapshots.
Add a fake-provider/counting-store regression that bounds checkpoint writes as chunk count grows, verifies the final persisted content, and covers completion/cancellation. Benchmark the SQLite-backed path before selecting checkpoint intervals.
- Ngôn ngữ chính
- Go
- Star
- 4.7k
- Fork
- 565
- Merge trung bình
- 18 giờ 52 phút
- Pull request đã merge (30 ngày)
- 221
Chuẩn bị môi trường
Khởi chạy dev container của dự án ngay trên trình duyệt, bằng tài khoản GitHub của bạn.
- Có Dockerfile hoặc tệp Docker Compose
- Không có mẫu pull request
- Không có hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của docker/docker-agent
-
edit_file diff rendering panics on invalid UTF-8 textCó thể đã có người làm @TDnorthgarden đã nhận hôm nay. Đang mởarea/tui
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 85/100
docker/docker-agent#4955 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
A setting to turn off the models.dev catalog download (offline and strict-network use)Có thể đã có người làm @3431481073 đã nhận 19 ngày trước. Đang mởarea/config area/models
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
docker/docker-agent#4714 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Error when trying to run sandbox example?Có thể đã có người làm @dgageot đã nhận 28 ngày trước. Đang mởarea/cli
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 62/100
docker/docker-agent#4672 · 1 bình luận · 1 reaction · 1 người được giao ·
Maintainer thường phản hồi trong vòng 1 ngày
-
`edit_file` silently edits the first match when `oldText` occurs more than onceCó thể đã có người làm @dwin-gharibi đã nhận 103 ngày trước. Đang mởarea/tools
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
docker/docker-agent#3929 · 2 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
area/api area/runtime
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 48/100
docker/docker-agent#4951 ·
Maintainer thường phản hồi trong vòng 1 ngày
Tất cả issue của docker/docker-agent
Issue tương tự
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 86/100
fluxcd/notification-controller#1441 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 76/100
OneBusAway/maglev#2145 ·
Maintainer thường phản hồi trong vòng 2 ngày
-
priority/medium status/ready type/chore
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 84/100
discobox-ai/discobox#1357 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
TestPseudoLocaleRemote fails now and then: it types the code before the laptop asks for itCó thể đã có người làm @fzn0x đã nhận hôm nay. Đang mởbug priority: low
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 88/100
Maintainer thường phản hồi trong vòng 1 ngày
-
enhancement ui/ux
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 68/100
jbigler/railswitch#243 ·
Maintainer thường phản hồi trong vòng 1 ngày