workarena_l3 benchmark not found
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 2/5
- Thời gian dự kiến
- 1-3 giờ
- Mức phù hợp với người mới
- 35/100
Hướng nghiên cứu
The payload names no files, so start by searching the repository for where benchmark names like workarena_l3 and workarena_l3_agent_curriculum_eval are registered, and reproduce the error by passing workarena_l3 as the benchmark. Confirm whether the second name exists and matches the L3 WorkArena task set. Done means the maintainers have settled the canonical name, and the code, an alias or the docs agree with it. The thread has no answer after 249 days, so check with a maintainer before writing a patch.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
Specifying the benchmark as "workarena_l3" raises an error. Is "workarena_l3_agent_curriculum_eval" the same as the set of L3 tasks from WorkArena? And if so, should this name be used instead of "workarena_l3"?
- Ngôn ngữ chính
- Python
- Star
- 644
- Fork
- 134
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Chuẩn bị môi trường
Dự án này không cung cấp dev container, Dockerfile hay hướng dẫn đóng góp, nên bạn cần tự thiết lập môi trường: hãy bắt đầu từ README và xem hướng dẫn đóng góp lần đầu của chúng tôi để biết các bước chung.
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của ServiceNow/AgentLab
-
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 48/100
ServiceNow/AgentLab#340 ·
-
Availability and use terms for minimized HTTP traces linked to recorded agent configurationsĐang mở
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 25/100
ServiceNow/AgentLab#339 ·
-
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 22/100
ServiceNow/AgentLab#331 ·
-
Qwen3 IntegrationĐang mở
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 15/100
ServiceNow/AgentLab#329 ·
-
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 25/100
ServiceNow/AgentLab#324 · 2 reaction ·
Tất cả issue của ServiceNow/AgentLab
Issue tương tự
-
bug
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 86/100
awslabs/visual-asset-management-system#937 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Admin member of a research group cannot see the HX2 allocation until they've been added to itĐang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 68/100
-
follow-up
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 83/100
Maintainer thường phản hồi trong vòng 3 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 70/100
Maintainer thường phản hồi trong vòng 2 ngày