Track structured timing for phased image assembly cleanup
評価
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 初心者へのやさしさ
- 52/100
- issue の種類
- 機能追加
- 明瞭さ
- おおむね明確
- 活発さ
- 静か
- 技術スタック
- docker, github-actions, python
- 領域
- build-system, ci-cd, devops
調査の方向性
assemble_all_agent_images エントリポイントと manifest.jsonl を書き込むコードを特定し、build、push、rmi、system prune、builder prune のサブプロセスがどのように実行されるかを追跡します。タイミングとクリーンアップ結果をどこに配置するかを決める前に、既存のサマリーツールとテストを確認します。完了条件は、成功したアセンブリのレコードに null でないタイミングフィールドが含まれ、構造化されたクリーンアップ結果が保持され、テストが成功パスをカバーしていることです。
索引モデルが issue の本文から書いたものです。
説明
Problem
The phased SWE/SWT-bench image assembly logs include human-readable timing in lines like:
[assembly] OK ... total=109.8s build=87.2s push=6.2s
but the emitted manifest.jsonl records do not populate structured timing fields for assembly. In the full SWE-bench validation run below, fields such as duration_seconds, build_seconds, and related timing fields were null, so analyzing performance required scraping the raw GitHub Actions log.
Validation run: https://github.com/OpenHands/benchmarks/actions/runs/24810843867
That run succeeded (500/500 base images and 500/500 assembled images), but performance/debug analysis was more manual than it should be:
- Average assembly total: ~131.8s/image
- Average docker build: ~106.9s/image
- Average push: ~5.8s/image
- Implied cleanup/other post-build gap: ~19.1s/image
docker system pruneproduced 170 warning-only rc=1 failures, likely prune-lock contention
Proposal
Populate structured timing fields in assembly manifest records, including at least:
- total assembly duration
- docker build duration
- docker push duration
- docker rmi duration
- docker system prune duration
- docker builder prune duration
- cleanup status / return codes for rmi, system prune, and builder prune
This would make future tuning less guessy and avoid scraping CI logs for basic timing and cleanup behavior.
Acceptance criteria
manifest.jsonlforassemble_all_agent_imagesincludes non-null timing fields for each assembled image.- Cleanup subprocess outcomes are represented in a structured way.
- Existing summary tooling either preserves these fields or can surface aggregate build/push/cleanup timing.
- Tests cover the new timing fields for a successful assembly.
Context
This came out of the SWE-bench disk/OOM follow-up to the SWT-bench cleanup work in PR #672 and SWE-bench validation PR #690.
- 主要言語
- Python
- スター
- 134
- フォーク
- 97
- 平均マージ
- 8日 23時間
- マージ済み PR(30日)
- 2
環境構築
- Dockerfile・Docker Compose ファイルなし
- プルリクエストのテンプレートなし
- コントリビューションガイドを読む
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
OpenHands/benchmarks のほかの issue
-
SWE-bench Pro and ProgramBench reports leave out instances that errored during inference再び着手できるかも @jahanvipandey22 が 8 日前に担当しましたが、オープン中のプルリクエストはありません。 オープン
難易度 3/5 半日 初心者へのやさしさ 62/100
OpenHands/benchmarks#791 · コメント 1 件 ·
-
create_docker_workspace never reuses locally-built images (tag mismatch with DockerDevWorkspace)オープン
難易度 3/5 1〜2日 初心者へのやさしさ 68/100
OpenHands/benchmarks#779 ·
-
難易度 5/5 1週間以上 初心者へのやさしさ 35/100
OpenHands/benchmarks#776 ·
-
難易度 5/5 1週間以上 初心者へのやさしさ 28/100
OpenHands/benchmarks#764 · コメント 16 件 ·
-
難易度 5/5 1週間以上 初心者へのやさしさ 38/100
OpenHands/benchmarks#744 ·
OpenHands/benchmarks の issue をすべて見る
似ている issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100
trycua/hermes-cua-spaces#17 ·
-
area:codegen backend:hip bug direction:output good first issue
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100
メンテナーはふだん 1 日以内に返信
-
status:waiting-for-triage type:bug
難易度 2/5 1〜3時間 初心者へのやさしさ 67/100
microsoftgraph/msgraph-sdk-python#1628 ·
メンテナーはふだん 1 日以内に返信
-
bug
難易度 2/5 1〜3時間 初心者へのやさしさ 77/100
nautechsystems/nautilus_trader#5718 ·
メンテナーはふだん 1 日以内に返信
-
[Bug]: reme CLI crashes when the running server used a relative config path対応中かも @nurlanmnn が今日担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 88/100
agentscope-ai/ReMe#770 ·
メンテナーはふだん 1 日以内に返信