[Feature]: Add webarena_verified_hard benchmark subset configuration
Đánh giá
- Độ khó
- 2/5
- Thời gian dự kiến
- 1-3 giờ
- Mức phù hợp với người mới
- 83/100
- Loại issue
- Tính năng
- Độ rõ ràng
- Đặc tả rõ ràng
- Mức độ hoạt động
- Sôi nổi
- Công nghệ
- python
- Lĩnh vực
- machine-learning
Hướng nghiên cứu
Bắt đầu tại browsergym/experiments/src/browsergym/experiments/benchmark/configs.py, ở TODO quanh dòng 163, và đọc cách webarena_verified được cấu hình. Dùng tệp tập con upstream được liên kết làm nguồn cho 258 ID tác vụ khó. Công việc hoàn tất khi DEFAULT_BENCHMARKS["webarena_verified_hard"]() trả về tập con khó và benchmark đầy đủ hiện có vẫn không thay đổi.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
Feature Request: webarena_verified_hard Benchmark Preset
Add a preset for the official 258-task WebArena-Verified hard subset to BrowserGym.
File: browsergym/experiments/src/browsergym/experiments/benchmark/configs.py (line 163, resolves existing TODO)
Breaking changes: None
Summary
DEFAULT_BENCHMARKS only exposes the full 812-task webarena_verified. This adds webarena_verified_hard, filtered to the 258 hard tasks from the upstream subset file.
| Full | Hard | |
|---|---|---|
| Tasks | 812 | 258 |
| Eval time / API cost | baseline | ~68% lower |
Why
- Faster, cheaper iteration on complex multi-step tasks
- One-line standardized access, no ad-hoc filter scripts:
DEFAULT_BENCHMARKS["webarena_verified_hard"]()
- Existing
webarena_verifiedstays untouched
- Ngôn ngữ chính
- Python
- Star
- 1.4k
- Fork
- 202
- Merge trung bình
- 6 ngày 12 giờ
- Pull request đã merge (30 ngày)
- 2
Chuẩn bị môi trường
Dự án này không cung cấp dev container, Dockerfile hay hướng dẫn đóng góp, nên bạn cần tự thiết lập môi trường: hãy bắt đầu từ README và xem hướng dẫn đóng góp lần đầu của chúng tôi để biết các bước chung.
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của ServiceNow/BrowserGym
-
[Feature Proposal]: Add experiment lifecycle callbacks to `ExpArgs` in `loop.py`Có thể đã có người làm @sriram687 đã nhận hôm nay. Đang mở
ServiceNow/BrowserGym#417 · 1 người được giao ·
-
WebArena-Verified reward averages evaluator scores instead of using the benchmark's task score (partial credit for failed tasks)Có thể đã có người làm @salma2vec đã nhận 5 ngày trước. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 32/100
ServiceNow/BrowserGym#412 ·
-
full_reset() gives no signal whether the environment was reset; skipped reset is indistinguishable from a successful oneCó thể đã có người làm @Tharun-Varshan-S đã nhận 7 ngày trước. Đang mở
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 38/100
ServiceNow/BrowserGym#406 · 3 bình luận ·
-
AssistantBench scorer treats a thousands separator as a decimal point: "3,080,000" scores 0 against gold 3080000, while "1,000" scores 1.0 against gold 1Có thể đã có người làm @Andiii208 đã nhận 26 ngày trước. Đang mở
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 25/100
ServiceNow/BrowserGym#404 · 1 bình luận ·
-
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 28/100
ServiceNow/BrowserGym#401 ·
Tất cả issue của ServiceNow/BrowserGym
Issue tương tự
-
difficulty:2 enhancement good first issue
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 85/100
MakazhanAlpamys/Soup#2309 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
TAPVid-3D: per_trajectory and local_neighborhood scaling always score 0 in evaluate_model.pyĐang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 85/100
google-deepmind/tapnet#173 ·
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 70/100
-
change-description-authoring: jdk-33173-audit check 4 grades the hunk translation by its verbĐang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 65/100
Netcracker/qubership-ai-packages#203 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
PAC Wording
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 72/100
Maintainer thường phản hồi trong vòng 1 ngày