Track structured timing for phased image assembly cleanup
Đánh giá
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức phù hợp với người mới
- 52/100
- Loại issue
- Tính năng
- Độ rõ ràng
- Khá rõ ràng
- Mức độ hoạt động
- Ít trao đổi
- Công nghệ
- docker, github-actions, python
- Lĩnh vực
- build-system, ci-cd, devops
Hướng nghiên cứu
Xác định entry point assemble_all_agent_images và mã ghi manifest.jsonl, sau đó theo dõi cách các subprocess build, push, rmi, system prune và builder prune được thực thi. Xem xét các công cụ tóm tắt và các bài kiểm thử hiện có trước khi quyết định nơi lưu thời gian và kết quả dọn dẹp. Được xem là hoàn tất khi các bản ghi assembly thành công chứa các trường thời gian khác null, các kết quả dọn dẹp có cấu trúc được giữ lại và các bài kiểm thử bao phủ đường dẫn thành công.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
Problem
The phased SWE/SWT-bench image assembly logs include human-readable timing in lines like:
[assembly] OK ... total=109.8s build=87.2s push=6.2s
but the emitted manifest.jsonl records do not populate structured timing fields for assembly. In the full SWE-bench validation run below, fields such as duration_seconds, build_seconds, and related timing fields were null, so analyzing performance required scraping the raw GitHub Actions log.
Validation run: https://github.com/OpenHands/benchmarks/actions/runs/24810843867
That run succeeded (500/500 base images and 500/500 assembled images), but performance/debug analysis was more manual than it should be:
- Average assembly total: ~131.8s/image
- Average docker build: ~106.9s/image
- Average push: ~5.8s/image
- Implied cleanup/other post-build gap: ~19.1s/image
docker system pruneproduced 170 warning-only rc=1 failures, likely prune-lock contention
Proposal
Populate structured timing fields in assembly manifest records, including at least:
- total assembly duration
- docker build duration
- docker push duration
- docker rmi duration
- docker system prune duration
- docker builder prune duration
- cleanup status / return codes for rmi, system prune, and builder prune
This would make future tuning less guessy and avoid scraping CI logs for basic timing and cleanup behavior.
Acceptance criteria
manifest.jsonlforassemble_all_agent_imagesincludes non-null timing fields for each assembled image.- Cleanup subprocess outcomes are represented in a structured way.
- Existing summary tooling either preserves these fields or can surface aggregate build/push/cleanup timing.
- Tests cover the new timing fields for a successful assembly.
Context
This came out of the SWE-bench disk/OOM follow-up to the SWT-bench cleanup work in PR #672 and SWE-bench validation PR #690.
- Ngôn ngữ chính
- Python
- Star
- 134
- Fork
- 97
- Merge trung bình
- 8 ngày 23 giờ
- Pull request đã merge (30 ngày)
- 2
Chuẩn bị môi trường
- Không có Dockerfile hay tệp Docker Compose
- Không có mẫu pull request
- Đọc hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của OpenHands/benchmarks
-
SWE-bench Pro and ProgramBench reports leave out instances that errored during inferenceCó thể làm lại được @jahanvipandey22 đã nhận 8 ngày trước và không có pull request nào đang mở. Đang mở
Độ khó 3/5 Nửa ngày Mức phù hợp với người mới 62/100
OpenHands/benchmarks#791 · 1 bình luận ·
-
create_docker_workspace never reuses locally-built images (tag mismatch with DockerDevWorkspace)Đang mở
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 68/100
OpenHands/benchmarks#779 ·
-
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 35/100
OpenHands/benchmarks#776 ·
-
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 28/100
OpenHands/benchmarks#764 · 16 bình luận ·
-
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 38/100
OpenHands/benchmarks#744 ·
Tất cả issue của OpenHands/benchmarks
Issue tương tự
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 76/100
trycua/hermes-cua-spaces#17 ·
-
area:codegen backend:hip bug direction:output good first issue
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 76/100
Maintainer thường phản hồi trong vòng 1 ngày
-
status:waiting-for-triage type:bug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 67/100
microsoftgraph/msgraph-sdk-python#1628 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
bug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 77/100
nautechsystems/nautilus_trader#5718 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
[Bug]: reme CLI crashes when the running server used a relative config pathCó thể đã có người làm @nurlanmnn đã nhận hôm nay. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 88/100
agentscope-ai/ReMe#770 ·
Maintainer thường phản hồi trong vòng 1 ngày