Track structured timing for phased image assembly cleanup

Abierto
#692 1 comentario 0 reacciones 0 asignados Ver en GitHub

@yefuyou ya está trabajando en esto.

Desde el 19/8/2026.

  • #773 de @yefuyou — abierto

Evaluación

Dificultad
4/5
Tiempo estimado
3-5 días
Aptitud para principiantes
52/100
Tipo de issue
Nueva funcionalidad
Claridad
Bastante claro
Estado de actividad
Tranquilo
Stack tecnológico
docker, github-actions, python

Línea de trabajo

Localiza el punto de entrada assemble_all_agent_images y el código que escribe manifest.jsonl, y luego sigue cómo se ejecutan los subprocesos de build, push, rmi, system prune y builder prune. Revisa las herramientas y pruebas de resumen existentes antes de decidir dónde deben ubicarse los tiempos y los resultados de limpieza. Se considera terminado cuando los registros de ensamblado correctos contienen campos de tiempo no nulos, se conservan los resultados de limpieza estructurados y las pruebas cubren la ruta de éxito.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

Problem

The phased SWE/SWT-bench image assembly logs include human-readable timing in lines like:

[assembly] OK ... total=109.8s build=87.2s push=6.2s

but the emitted manifest.jsonl records do not populate structured timing fields for assembly. In the full SWE-bench validation run below, fields such as duration_seconds, build_seconds, and related timing fields were null, so analyzing performance required scraping the raw GitHub Actions log.

Validation run: https://github.com/OpenHands/benchmarks/actions/runs/24810843867

That run succeeded (500/500 base images and 500/500 assembled images), but performance/debug analysis was more manual than it should be:

  • Average assembly total: ~131.8s/image
  • Average docker build: ~106.9s/image
  • Average push: ~5.8s/image
  • Implied cleanup/other post-build gap: ~19.1s/image
  • docker system prune produced 170 warning-only rc=1 failures, likely prune-lock contention

Proposal

Populate structured timing fields in assembly manifest records, including at least:

  • total assembly duration
  • docker build duration
  • docker push duration
  • docker rmi duration
  • docker system prune duration
  • docker builder prune duration
  • cleanup status / return codes for rmi, system prune, and builder prune

This would make future tuning less guessy and avoid scraping CI logs for basic timing and cleanup behavior.

Acceptance criteria

  • manifest.jsonl for assemble_all_agent_images includes non-null timing fields for each assembled image.
  • Cleanup subprocess outcomes are represented in a structured way.
  • Existing summary tooling either preserves these fields or can surface aggregate build/push/cleanup timing.
  • Tests cover the new timing fields for a successful assembly.

Context

This came out of the SWE-bench disk/OOM follow-up to the SWT-bench cleanup work in PR #672 and SWE-bench validation PR #690.

Lenguaje dominante
Python
Estrellas
134
Forks
97
Merge medio
8 d 23 h
PR fusionados (30 d)
2

Preparar el entorno

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de OpenHands/benchmarks

Todos los issues de OpenHands/benchmarks

Issues similares

Más issues de Python

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.