Evaluation: Structured dataset for validators
Maintainer thường phản hồi trong vòng 1 ngày
@Prajna1999 đang làm issue này rồi.
Từ ngày 27/10/2026.
Đánh giá
Issue này chưa được đánh giá.
Mô tả
Is your feature request related to a problem?
We currently lack a structured standalone evaluation dataset for all validators in guardrails. This absence makes it difficult to assess validator performance effectively.
Describe the solution you'd like
- Create an evaluation sheet to be run periodically with validators.
- Ensure the dataset is representative of different input types for each validator.
- Report the findings in a structured document.
Original issue
Describe the current behavior
Currently we lack structured standalone eval dataset for all validators in guardrails.
Describe the enhancement you'd like
Create an eval sheet to be run periodically with validators. The dataset should be representative of different input types for individual validator. Report the findings in a structured document.
Why is this enhancement needed?
Explain the benefits (e.g., performance, usability, maintainability, scalability).
Additional context
Add any other context, metrics, screenshots, or examples about the enhancement here.
- Ngôn ngữ chính
- Python
- Star
- 18
- Fork
- 11
- Merge trung bình
- 2 ngày 2 giờ
- Pull request đã merge (30 ngày)
- 33
Chuẩn bị môi trường
- Có Dockerfile hoặc tệp Docker Compose
- Có mẫu pull request
- Đọc hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của ProjectTech4DevAI/kaapi-backend
-
bug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 68/100
ProjectTech4DevAI/kaapi-backend#889 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
API: Safeguard against duplicate jobsCó thể đã có người làm @vprashrex đã nhận hôm nay. Đang mởbug
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 45/100
ProjectTech4DevAI/kaapi-backend#1311 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Rumi: Explore features for teachersCó thể đã có người làm @Prajna1999 đã nhận 1 ngày trước. Đang mở
ProjectTech4DevAI/kaapi-backend#1310 · 1 người được giao ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Sentry: Add module and version tagsCó thể đã có người làm @vprashrex đã nhận 4 ngày trước. Đang mở
ProjectTech4DevAI/kaapi-backend#1305 · 1 người được giao ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Observability: Cron enhancementsCó thể đã có người làm @vprashrex đã nhận 5 ngày trước. Đang mở
ProjectTech4DevAI/kaapi-backend#1304 · 1 người được giao ·
Maintainer thường phản hồi trong vòng 1 ngày
Tất cả issue của ProjectTech4DevAI/kaapi-backend
Issue tương tự
-
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 72/100
MIT-LCP/wfdb-python#590 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 77/100
pollen-robotics/reachy_mini#1517 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 69/100
NRLMMD-GEOIPS/pluginify#41 ·
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 67/100
scverse/spatialdata#1293 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
UKGovernmentBEIS/inspect_evals#2788 ·
Maintainer thường phản hồi trong vòng 1 ngày