Track structured timing for phased image assembly cleanup
Evaluación
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Aptitud para principiantes
- 52/100
- Tipo de issue
- Nueva funcionalidad
- Claridad
- Bastante claro
- Estado de actividad
- Tranquilo
- Stack tecnológico
- docker, github-actions, python
- Área
- build-system, ci-cd, devops
Línea de trabajo
Localiza el punto de entrada assemble_all_agent_images y el código que escribe manifest.jsonl, y luego sigue cómo se ejecutan los subprocesos de build, push, rmi, system prune y builder prune. Revisa las herramientas y pruebas de resumen existentes antes de decidir dónde deben ubicarse los tiempos y los resultados de limpieza. Se considera terminado cuando los registros de ensamblado correctos contienen campos de tiempo no nulos, se conservan los resultados de limpieza estructurados y las pruebas cubren la ruta de éxito.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Problem
The phased SWE/SWT-bench image assembly logs include human-readable timing in lines like:
[assembly] OK ... total=109.8s build=87.2s push=6.2s
but the emitted manifest.jsonl records do not populate structured timing fields for assembly. In the full SWE-bench validation run below, fields such as duration_seconds, build_seconds, and related timing fields were null, so analyzing performance required scraping the raw GitHub Actions log.
Validation run: https://github.com/OpenHands/benchmarks/actions/runs/24810843867
That run succeeded (500/500 base images and 500/500 assembled images), but performance/debug analysis was more manual than it should be:
- Average assembly total: ~131.8s/image
- Average docker build: ~106.9s/image
- Average push: ~5.8s/image
- Implied cleanup/other post-build gap: ~19.1s/image
docker system pruneproduced 170 warning-only rc=1 failures, likely prune-lock contention
Proposal
Populate structured timing fields in assembly manifest records, including at least:
- total assembly duration
- docker build duration
- docker push duration
- docker rmi duration
- docker system prune duration
- docker builder prune duration
- cleanup status / return codes for rmi, system prune, and builder prune
This would make future tuning less guessy and avoid scraping CI logs for basic timing and cleanup behavior.
Acceptance criteria
manifest.jsonlforassemble_all_agent_imagesincludes non-null timing fields for each assembled image.- Cleanup subprocess outcomes are represented in a structured way.
- Existing summary tooling either preserves these fields or can surface aggregate build/push/cleanup timing.
- Tests cover the new timing fields for a successful assembly.
Context
This came out of the SWE-bench disk/OOM follow-up to the SWT-bench cleanup work in PR #672 and SWE-bench validation PR #690.
- Lenguaje dominante
- Python
- Estrellas
- 134
- Forks
- 97
- Merge medio
- 8 d 23 h
- PR fusionados (30 d)
- 2
Preparar el entorno
- Sin Dockerfile ni archivo de Docker Compose
- Sin plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de OpenHands/benchmarks
-
SWE-bench Pro and ProgramBench reports leave out instances that errored during inferenceQuizá libre de nuevo @jahanvipandey22 la tomó hace 8 días y no hay ningún pull request abierto. Abierto
Dificultad 3/5 Medio día Aptitud para principiantes 62/100
OpenHands/benchmarks#791 · 1 comentario ·
-
create_docker_workspace never reuses locally-built images (tag mismatch with DockerDevWorkspace)Abierto
Dificultad 3/5 1-2 días Aptitud para principiantes 68/100
OpenHands/benchmarks#779 ·
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100
OpenHands/benchmarks#776 ·
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 28/100
OpenHands/benchmarks#764 · 16 comentarios ·
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 38/100
OpenHands/benchmarks#744 ·
Todos los issues de OpenHands/benchmarks
Issues similares
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
trycua/hermes-cua-spaces#17 ·
-
area:codegen backend:hip bug direction:output good first issue
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
Los mantenedores suelen responder en 1 día
-
status:waiting-for-triage type:bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 67/100
microsoftgraph/msgraph-sdk-python#1628 ·
Los mantenedores suelen responder en 1 día
-
bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 77/100
nautechsystems/nautilus_trader#5718 ·
Los mantenedores suelen responder en 1 día
-
[Bug]: reme CLI crashes when the running server used a relative config pathPosiblemente ocupada @nurlanmnn la tomó hoy. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 88/100
agentscope-ai/ReMe#770 ·
Los mantenedores suelen responder en 1 día