Test set
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 5/5
- Thời gian dự kiến
- Hơn một tuần
- Mức phù hợp với người mới
- 35/100
- Loại issue
- Tính năng
- Độ rõ ràng
- Cần làm rõ
- Mức độ hoạt động
- Ít trao đổi
- Công nghệ
- python
- Lĩnh vực
- machine-learning, testing
Hướng nghiên cứu
Bắt đầu bằng cách xem xét các ví dụ benchmark của repository và kiểm tra xem dữ liệu Hugging Face có được cung cấp công khai hay không. Xác định xem có tồn tại một tập đánh giá được giữ lại hay việc chia 10–20% có khả thi mà không để các ví dụ của tập đó xuất hiện trong quá trình huấn luyện hay không; công việc được xem là hoàn tất khi có quyết định được lập thành tài liệu và chính sách dataset được thống nhất.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
Hey just wondering if there's a held out set for these examples?
Or are all problems available on Hugging Face as public?
Would be good to have a potential 10-20% held out set that can't be explicitly trained on.
Awesome work!
- Ngôn ngữ chính
- Python
- Star
- 215
- Fork
- 12
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Chuẩn bị môi trường
Dự án này không cung cấp dev container, Dockerfile hay hướng dẫn đóng góp, nên bạn cần tự thiết lập môi trường: hãy bắt đầu từ README và xem hướng dẫn đóng góp lần đầu của chúng tôi để biết các bước chung.
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của MoonshotAI/PerceptionBench
-
Độ khó 1/5 1-3 giờ Mức phù hợp với người mới 68/100
-
PBench & VisResĐang mở
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 35/100
Tất cả issue của MoonshotAI/PerceptionBench
Issue tương tự
-
[Bug] Unit tests reach real Bedrock call paths without patching the modelCó thể đã có người làm @proton0210 đã nhận hôm nay. Đang mởbug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 67/100
aws-samples/sample-aws-genai-db-modernizer#1318 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
pyarrow-25.0.1-cp310-cp310-manylinux_2_28_x86_64.whl: 1 vulnerabilities (highest severity is: 5.3)Đang mởMend: dependency security vulnerability
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 62/100
capitalone/locopy#394 ·
-
[Bug] Unhandled ValueError terminates watchdog thread when GISRC value contains multiple colonsĐang mởbug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 76/100
Maintainer thường phản hồi trong vòng 1 ngày
-
sdk-typescript: unquoted COPY globs in shell form are silently dropped from the image build contextĐang mởbug javascript
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
Maintainer thường phản hồi trong vòng 1 ngày
-
enhancement
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 65/100
ietf-tools/datatracker#11922 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày