Track structured timing for phased image assembly cleanup

Đang mở
#692 1 bình luận 0 reaction 0 người được giao Xem trên GitHub

@yefuyou đang làm issue này rồi.

Từ ngày 19/8/2026.

  • #773 của @yefuyou — đang mở

Đánh giá

Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức phù hợp với người mới
52/100
Loại issue
Tính năng
Độ rõ ràng
Khá rõ ràng
Mức độ hoạt động
Ít trao đổi
Công nghệ
docker, github-actions, python
Lĩnh vực
build-system, ci-cd, devops

Hướng nghiên cứu

Xác định entry point assemble_all_agent_images và mã ghi manifest.jsonl, sau đó theo dõi cách các subprocess build, push, rmi, system prune và builder prune được thực thi. Xem xét các công cụ tóm tắt và các bài kiểm thử hiện có trước khi quyết định nơi lưu thời gian và kết quả dọn dẹp. Được xem là hoàn tất khi các bản ghi assembly thành công chứa các trường thời gian khác null, các kết quả dọn dẹp có cấu trúc được giữ lại và các bài kiểm thử bao phủ đường dẫn thành công.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

Problem

The phased SWE/SWT-bench image assembly logs include human-readable timing in lines like:

[assembly] OK ... total=109.8s build=87.2s push=6.2s

but the emitted manifest.jsonl records do not populate structured timing fields for assembly. In the full SWE-bench validation run below, fields such as duration_seconds, build_seconds, and related timing fields were null, so analyzing performance required scraping the raw GitHub Actions log.

Validation run: https://github.com/OpenHands/benchmarks/actions/runs/24810843867

That run succeeded (500/500 base images and 500/500 assembled images), but performance/debug analysis was more manual than it should be:

  • Average assembly total: ~131.8s/image
  • Average docker build: ~106.9s/image
  • Average push: ~5.8s/image
  • Implied cleanup/other post-build gap: ~19.1s/image
  • docker system prune produced 170 warning-only rc=1 failures, likely prune-lock contention

Proposal

Populate structured timing fields in assembly manifest records, including at least:

  • total assembly duration
  • docker build duration
  • docker push duration
  • docker rmi duration
  • docker system prune duration
  • docker builder prune duration
  • cleanup status / return codes for rmi, system prune, and builder prune

This would make future tuning less guessy and avoid scraping CI logs for basic timing and cleanup behavior.

Acceptance criteria

  • manifest.jsonl for assemble_all_agent_images includes non-null timing fields for each assembled image.
  • Cleanup subprocess outcomes are represented in a structured way.
  • Existing summary tooling either preserves these fields or can surface aggregate build/push/cleanup timing.
  • Tests cover the new timing fields for a successful assembly.

Context

This came out of the SWE-bench disk/OOM follow-up to the SWT-bench cleanup work in PR #672 and SWE-bench validation PR #690.

Ngôn ngữ chính
Python
Star
134
Fork
97
Merge trung bình
8 ngày 23 giờ
Pull request đã merge (30 ngày)
2

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của OpenHands/benchmarks

Tất cả issue của OpenHands/benchmarks

Issue tương tự

Thêm issue về Python

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.