Track structured timing for phased image assembly cleanup
Valutazione
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Idoneità per principianti
- 52/100
- Tipo di issue
- Funzionalità
- Chiarezza
- Abbastanza chiara
- Stato di attività
- Tranquilla
- Stack tecnologico
- docker, github-actions, python
- Ambito
- build-system, ci-cd, devops
Direzione di ricerca
Individua il punto di ingresso assemble_all_agent_images e il codice che scrive manifest.jsonl, quindi traccia come vengono eseguiti i sottoprocessi build, push, rmi, system prune e builder prune. Esamina gli strumenti e i test di riepilogo esistenti prima di decidere dove collocare i tempi e gli esiti della pulizia. Il lavoro è completato quando i record di assemblaggio riusciti contengono campi di temporizzazione non nulli, i risultati strutturati della pulizia vengono conservati e i test coprono il percorso di successo.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Problem
The phased SWE/SWT-bench image assembly logs include human-readable timing in lines like:
[assembly] OK ... total=109.8s build=87.2s push=6.2s
but the emitted manifest.jsonl records do not populate structured timing fields for assembly. In the full SWE-bench validation run below, fields such as duration_seconds, build_seconds, and related timing fields were null, so analyzing performance required scraping the raw GitHub Actions log.
Validation run: https://github.com/OpenHands/benchmarks/actions/runs/24810843867
That run succeeded (500/500 base images and 500/500 assembled images), but performance/debug analysis was more manual than it should be:
- Average assembly total: ~131.8s/image
- Average docker build: ~106.9s/image
- Average push: ~5.8s/image
- Implied cleanup/other post-build gap: ~19.1s/image
docker system pruneproduced 170 warning-only rc=1 failures, likely prune-lock contention
Proposal
Populate structured timing fields in assembly manifest records, including at least:
- total assembly duration
- docker build duration
- docker push duration
- docker rmi duration
- docker system prune duration
- docker builder prune duration
- cleanup status / return codes for rmi, system prune, and builder prune
This would make future tuning less guessy and avoid scraping CI logs for basic timing and cleanup behavior.
Acceptance criteria
manifest.jsonlforassemble_all_agent_imagesincludes non-null timing fields for each assembled image.- Cleanup subprocess outcomes are represented in a structured way.
- Existing summary tooling either preserves these fields or can surface aggregate build/push/cleanup timing.
- Tests cover the new timing fields for a successful assembly.
Context
This came out of the SWE-bench disk/OOM follow-up to the SWT-bench cleanup work in PR #672 and SWE-bench validation PR #690.
- Lingua principale
- Python
- Stelle
- 134
- Fork
- 97
- Merge medio
- 8g 23h
- PR unite (30g)
- 2
Preparare l'ambiente
- Nessun Dockerfile né file Docker Compose
- Nessun modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di OpenHands/benchmarks
-
SWE-bench Pro and ProgramBench reports leave out instances that errored during inferenceForse di nuovo libera @jahanvipandey22 l’ha presa 8 giorni fa e non c’è nessuna pull request aperta. Aperta
Difficoltà 3/5 Mezza giornata Idoneità per principianti 62/100
OpenHands/benchmarks#791 · 1 commento ·
-
create_docker_workspace never reuses locally-built images (tag mismatch with DockerDevWorkspace)Aperta
Difficoltà 3/5 1-2 giorni Idoneità per principianti 68/100
OpenHands/benchmarks#779 ·
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 35/100
OpenHands/benchmarks#776 ·
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 28/100
OpenHands/benchmarks#764 · 16 commenti ·
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 38/100
OpenHands/benchmarks#744 ·
Tutte le issue di OpenHands/benchmarks
Issue simili
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 76/100
trycua/hermes-cua-spaces#17 ·
-
area:codegen backend:hip bug direction:output good first issue
Difficoltà 2/5 1-3 ore Idoneità per principianti 76/100
I maintainer di solito rispondono entro 1 giorno
-
status:waiting-for-triage type:bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 67/100
microsoftgraph/msgraph-sdk-python#1628 ·
I maintainer di solito rispondono entro 1 giorno
-
bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 77/100
nautechsystems/nautilus_trader#5718 ·
I maintainer di solito rispondono entro 1 giorno
-
[Bug]: reme CLI crashes when the running server used a relative config pathForse già presa @nurlanmnn l’ha presa oggi. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 88/100
agentscope-ai/ReMe#770 ·
I maintainer di solito rispondono entro 1 giorno