[Performance] Streaming persistence rewrites the full message on every delta
メンテナーはふだん 1 日以内に返信
評価
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 初心者へのやさしさ
- 42/100
- issue の種類
- バグ
- 明瞭さ
- 明確に書かれている
- 活発さ
- 活発
- 技術スタック
- go, sqlite
- 領域
- backend, databases, performance
調査の方向性
Start with pkg/runtime/persistence_observer.go and pkg/session/store.go to trace how each delta reaches the SQLite update; read pkg/runtime/observer.go to understand synchronous event delivery. Use the supplied fake-provider probe to reproduce the write growth, then add regression coverage for bounded checkpoint writes, final persisted content, completion, and cancellation. Done means persistence reduces repeated full-message writes while preserving the stated recovery behavior.
索引モデルが issue の本文から書いたものです。
説明
Severity: medium · Type: performance
Location
Reviewed commit: cd65d7c776dda80d554735ee20572d09cfe2d791.
pkg/runtime/persistence_observer.go:92–102: persists each assistant text/reasoning delta.pkg/runtime/persistence_observer.go:203–229: sends the entire accumulated message to the store on every delta.pkg/session/store.go:1312–1326: marshals and replaces the fullmessage_jsonon each update.pkg/runtime/observer.go:80–84: observers run synchronously before forwarding events to the consumer.
Issue details
Incremental persistence repeatedly serializes the growing message, yielding quadratic cumulative payload volume for fixed-size deltas. The SQLite adapter executes one full-row JSON update per delta, on the event-delivery path. This buys fine-grained recovery, but long responses and reasoning streams pay for all their previous content again on every chunk.
A fake provider plus counting store exercised the actual public runtime and its stock persistence observer, with no model API requests:
| 16-byte text chunks | Final text bytes | Assistant writes (including finalization) | Cumulative text bytes passed to store | JSON bytes serialized with the same json.Marshal(msg.Message) as SQLite |
|---|---|---|---|---|
| 1,024 | 16,384 | 1,025 | 8,413,184 | 8,500,393 |
| 2,048 | 32,768 | 2,049 | 33,603,584 | 33,777,833 |
| 4,096 | 65,536 | 4,097 | 134,316,032 | 134,664,361 |
Doubling the final response roughly quadruples cumulative payload volume. These numbers measure the observer/store contract and JSON serialization volume; they are not a disk-I/O or end-to-end latency benchmark. The SQLite source establishes that each update serializes and sends the full message to an SQL update.
Save the following as /tmp/persistence-probe.go and run go run /tmp/persistence-probe.go from the repository root:
package main
import (
"context"
"encoding/json"
"fmt"
"io"
"strings"
"github.com/docker/docker-agent/pkg/agent"
"github.com/docker/docker-agent/pkg/chat"
"github.com/docker/docker-agent/pkg/config/latest"
"github.com/docker/docker-agent/pkg/model/provider/contracts"
"github.com/docker/docker-agent/pkg/modelsdev"
"github.com/docker/docker-agent/pkg/runtime"
"github.com/docker/docker-agent/pkg/session"
"github.com/docker/docker-agent/pkg/team"
"github.com/docker/docker-agent/pkg/tools"
)
type countingStore struct {
session.Store
writes, contentBytes, jsonBytes int
}
func (s *countingStore) AddMessage(ctx context.Context, id string, msg *session.Message) (int64, error) {
s.record(msg)
return s.Store.AddMessage(ctx, id, msg)
}
func (s *countingStore) UpdateMessage(ctx context.Context, sid string, id int64, msg *session.Message) error {
s.record(msg)
return s.Store.UpdateMessage(ctx, sid, id, msg)
}
func (s *countingStore) record(msg *session.Message) {
if msg.Message.Role != chat.MessageRoleAssistant { return }
s.writes++
s.contentBytes += len(msg.Message.Content)
b, err := json.Marshal(msg.Message)
if err != nil { panic(err) }
s.jsonBytes += len(b)
}
type fakeProvider struct { n int }
func (p fakeProvider) ID() modelsdev.ID { return modelsdev.NewID("test", "mock") }
func (p fakeProvider) BaseConfig() contracts.Config {
return contracts.Config{ModelConfig: latest.ModelConfig{Provider: "test", Model: "mock"}}
}
func (p fakeProvider) CreateChatCompletionStream(context.Context, []chat.Message, []tools.Tool) (chat.MessageStream, error) {
return &fakeStream{n: p.n}, nil
}
type fakeStream struct { n, i int }
func (s *fakeStream) Recv() (chat.MessageStreamResponse, error) {
if s.i > s.n { return chat.MessageStreamResponse{}, io.EOF }
choice := chat.MessageStreamChoice{}
if s.i == s.n { choice.FinishReason = chat.FinishReasonStop } else { choice.Delta.Content = strings.Repeat("x", 16) }
s.i++
return chat.MessageStreamResponse{Choices: []chat.MessageStreamChoice{choice}}, nil
}
func (*fakeStream) Close() {}
type fakeCatalog struct{}
func (fakeCatalog) GetModel(context.Context, modelsdev.ID) (*modelsdev.Model, error) { return nil, nil }
func (fakeCatalog) GetDatabase(context.Context) (*modelsdev.Database, error) { return &modelsdev.Database{}, nil }
func main() {
for _, n := range []int{1024, 2048, 4096} {
ctx := context.Background()
store := &countingStore{Store: session.NewInMemorySessionStore()}
a := agent.New("root", "Respond.", agent.WithModel(fakeProvider{n: n}))
rt, err := runtime.New(ctx, team.New(team.WithAgents(a)), runtime.WithSessionStore(store), runtime.WithModelStore(fakeCatalog{}), runtime.WithSessionCompaction(false))
if err != nil { panic(err) }
sess := session.New(session.WithUserMessage("hi"), session.WithNonInteractive(true))
for ev := range rt.RunStream(ctx, sess) {
if e, ok := ev.(*runtime.ErrorEvent); ok { panic(e.Error) }
}
if err := rt.Close(); err != nil { panic(err) }
fmt.Printf("chunks=%d final_bytes=%d assistant_writes=%d cumulative_content_bytes=%d serialized_json_bytes=%d\n", n, n*16, store.writes, store.contentBytes, store.jsonBytes)
}
}
Impact
Large text/reasoning replies cause avoidable serialization, allocations and database updates. Because persistence is synchronous, slower storage also delays delivery to the terminal/UI and downstream observers. Concurrent sessions amplify pressure on the store.
Recommended fix
Coalesce persistence updates by time and/or added byte count, with bounded buffering and a guaranteed final flush on message completion and lifecycle teardown. Preserve partial recovery semantics explicitly. Alternatively store append-only deltas with periodic snapshots.
Add a fake-provider/counting-store regression that bounds checkpoint writes as chunk count grows, verifies the final persisted content, and covers completion/cancellation. Benchmark the SQLite-backed path before selecting checkpoint intervals.
- 主要言語
- Go
- スター
- 4.7k
- フォーク
- 565
- 平均マージ
- 18時間 52分
- マージ済み PR(30日)
- 221
環境構築
このプロジェクトの開発コンテナを、あなたの GitHub アカウントでブラウザ上に起動します。
- Dockerfile または Docker Compose ファイルあり
- プルリクエストのテンプレートなし
- コントリビューションガイドなし
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
docker/docker-agent のほかの issue
-
edit_file diff rendering panics on invalid UTF-8 text対応中かも @TDnorthgarden が今日担当しました。 オープンarea/tui
難易度 2/5 1〜3時間 初心者へのやさしさ 85/100
docker/docker-agent#4955 ·
メンテナーはふだん 1 日以内に返信
-
A setting to turn off the models.dev catalog download (offline and strict-network use)対応中かも @3431481073 が 19 日前に担当しました。 オープンarea/config area/models
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
docker/docker-agent#4714 ·
メンテナーはふだん 1 日以内に返信
-
Error when trying to run sandbox example?対応中かも @dgageot が 28 日前に担当しました。 オープンarea/cli
難易度 2/5 1〜3時間 初心者へのやさしさ 62/100
docker/docker-agent#4672 · コメント 1 件 · リアクション 1 件 · 担当者 1 名 ·
メンテナーはふだん 1 日以内に返信
-
`edit_file` silently edits the first match when `oldText` occurs more than once対応中かも @dwin-gharibi が 103 日前に担当しました。 オープンarea/tools
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
docker/docker-agent#3929 · コメント 2 件 ·
メンテナーはふだん 1 日以内に返信
-
area/api area/runtime
難易度 4/5 3〜5日 初心者へのやさしさ 48/100
docker/docker-agent#4951 ·
メンテナーはふだん 1 日以内に返信
docker/docker-agent の issue をすべて見る
似ている issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
IBM-Cloud/terraform-provider-ibm#7115 ·
メンテナーはふだん 2 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 86/100
fluxcd/notification-controller#1441 ·
メンテナーはふだん 1 日以内に返信
-
bug
難易度 2/5 1〜3時間 初心者へのやさしさ 66/100
volcengine/volcengine-go-sdk#163 · コメント 1 件 ·
-
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100
OneBusAway/maglev#2145 ·
メンテナーはふだん 2 日以内に返信
-
priority/medium status/ready type/chore
難易度 2/5 1〜3時間 初心者へのやさしさ 84/100
discobox-ai/discobox#1357 ·
メンテナーはふだん 1 日以内に返信