Track structured timing for phased image assembly cleanup

Aperta
#692 1 commento 0 reazioni 0 assegnatari Vedi su GitHub

@yefuyou ci sta già lavorando.

Dal 19/8/2026.

  • #773 di @yefuyou — aperta

Valutazione

Difficoltà
4/5
Tempo stimato
3-5 giorni
Idoneità per principianti
52/100
Tipo di issue
Funzionalità
Chiarezza
Abbastanza chiara
Stato di attività
Tranquilla
Stack tecnologico
docker, github-actions, python

Direzione di ricerca

Individua il punto di ingresso assemble_all_agent_images e il codice che scrive manifest.jsonl, quindi traccia come vengono eseguiti i sottoprocessi build, push, rmi, system prune e builder prune. Esamina gli strumenti e i test di riepilogo esistenti prima di decidere dove collocare i tempi e gli esiti della pulizia. Il lavoro è completato quando i record di assemblaggio riusciti contengono campi di temporizzazione non nulli, i risultati strutturati della pulizia vengono conservati e i test coprono il percorso di successo.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

Problem

The phased SWE/SWT-bench image assembly logs include human-readable timing in lines like:

[assembly] OK ... total=109.8s build=87.2s push=6.2s

but the emitted manifest.jsonl records do not populate structured timing fields for assembly. In the full SWE-bench validation run below, fields such as duration_seconds, build_seconds, and related timing fields were null, so analyzing performance required scraping the raw GitHub Actions log.

Validation run: https://github.com/OpenHands/benchmarks/actions/runs/24810843867

That run succeeded (500/500 base images and 500/500 assembled images), but performance/debug analysis was more manual than it should be:

  • Average assembly total: ~131.8s/image
  • Average docker build: ~106.9s/image
  • Average push: ~5.8s/image
  • Implied cleanup/other post-build gap: ~19.1s/image
  • docker system prune produced 170 warning-only rc=1 failures, likely prune-lock contention

Proposal

Populate structured timing fields in assembly manifest records, including at least:

  • total assembly duration
  • docker build duration
  • docker push duration
  • docker rmi duration
  • docker system prune duration
  • docker builder prune duration
  • cleanup status / return codes for rmi, system prune, and builder prune

This would make future tuning less guessy and avoid scraping CI logs for basic timing and cleanup behavior.

Acceptance criteria

  • manifest.jsonl for assemble_all_agent_images includes non-null timing fields for each assembled image.
  • Cleanup subprocess outcomes are represented in a structured way.
  • Existing summary tooling either preserves these fields or can surface aggregate build/push/cleanup timing.
  • Tests cover the new timing fields for a successful assembly.

Context

This came out of the SWE-bench disk/OOM follow-up to the SWT-bench cleanup work in PR #672 and SWE-bench validation PR #690.

Lingua principale
Python
Stelle
134
Fork
97
Merge medio
8g 23h
PR unite (30g)
2

Preparare l'ambiente

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di OpenHands/benchmarks

Tutte le issue di OpenHands/benchmarks

Issue simili

Altre issue su Python

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.