WorkArena L3 evaluation never stops running
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức phù hợp với người mới
- 18/100
Hướng nghiên cứu
Start from the entry point main.py and the experiment workarena_l3_agent_curriculum_eval, then find where n_jobs and n_relaunch control parallel job launching and relaunching. Reproduce the hang with a small n_jobs and identify which job never completes. Done means the evaluation finishes, or the cause of the stall is documented with a fix. The issue has no comments or maintainer response, so this is a debugging task that needs project familiarity.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
I experimented running main.py for workarena_l3_agent_curriculum_eval ("workarena_l3" throws an error so I changed the name to this) with different n_jobs to speed up evaluation going from 2 to 6 and n_relaunch=1, however the evaluation never stops running even after leaving it to run for 3 days. Do you know why this is happening and how it can be fixed?
- Ngôn ngữ chính
- Python
- Star
- 644
- Fork
- 134
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Chuẩn bị môi trường
Dự án này không cung cấp dev container, Dockerfile hay hướng dẫn đóng góp, nên bạn cần tự thiết lập môi trường: hãy bắt đầu từ README và xem hướng dẫn đóng góp lần đầu của chúng tôi để biết các bước chung.
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của ServiceNow/AgentLab
-
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 48/100
ServiceNow/AgentLab#340 ·
-
Availability and use terms for minimized HTTP traces linked to recorded agent configurationsĐang mở
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 25/100
ServiceNow/AgentLab#339 ·
-
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 22/100
ServiceNow/AgentLab#331 ·
-
Qwen3 IntegrationĐang mở
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 15/100
ServiceNow/AgentLab#329 ·
-
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 25/100
ServiceNow/AgentLab#324 · 2 reaction ·
Tất cả issue của ServiceNow/AgentLab
Issue tương tự
-
enhancement
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
glossyio/traffic-monitor#264 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Add self-hostĐang mở
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 75/100
Atarity/deploy-your-own-saas#102 ·
-
[Bug]: RDFlex silently drops the covariate adjustment when the outcome or treatment column is integer-typedCó thể đã có người làm @vrjdev đã nhận hôm nay. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
DoubleML/doubleml-for-py#424 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
agentic-dmx docs enhancement
Độ khó 1/5 1-3 giờ Mức phù hợp với người mới 86/100
-
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 72/100
521xueweihan/HelloGitHub#4150 ·