Evaluation: Structured dataset for validators
I maintainer di solito rispondono entro 1 giorno
@Prajna1999 ci sta già lavorando.
Dal 27/10/2026.
Valutazione
Questa issue non è ancora stata valutata.
Descrizione
Is your feature request related to a problem?
We currently lack a structured standalone evaluation dataset for all validators in guardrails. This absence makes it difficult to assess validator performance effectively.
Describe the solution you'd like
- Create an evaluation sheet to be run periodically with validators.
- Ensure the dataset is representative of different input types for each validator.
- Report the findings in a structured document.
Original issue
Describe the current behavior
Currently we lack structured standalone eval dataset for all validators in guardrails.
Describe the enhancement you'd like
Create an eval sheet to be run periodically with validators. The dataset should be representative of different input types for individual validator. Report the findings in a structured document.
Why is this enhancement needed?
Explain the benefits (e.g., performance, usability, maintainability, scalability).
Additional context
Add any other context, metrics, screenshots, or examples about the enhancement here.
- Lingua principale
- Python
- Stelle
- 18
- Fork
- 11
- Merge medio
- 2g 2h
- PR unite (30g)
- 33
Preparare l'ambiente
- Include un Dockerfile o un file Docker Compose
- Ha un modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di ProjectTech4DevAI/kaapi-backend
-
bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
ProjectTech4DevAI/kaapi-backend#889 ·
I maintainer di solito rispondono entro 1 giorno
-
API: Safeguard against duplicate jobsForse già presa @vprashrex l’ha presa oggi. Apertabug
Difficoltà 4/5 3-5 giorni Idoneità per principianti 45/100
ProjectTech4DevAI/kaapi-backend#1311 ·
I maintainer di solito rispondono entro 1 giorno
-
Rumi: Explore features for teachersForse già presa @Prajna1999 l’ha presa 2 giorni fa. Aperta
ProjectTech4DevAI/kaapi-backend#1310 · 1 assegnatario ·
I maintainer di solito rispondono entro 1 giorno
-
Sentry: Add module and version tagsForse già presa @vprashrex l’ha presa 5 giorni fa. Aperta
ProjectTech4DevAI/kaapi-backend#1305 · 1 assegnatario ·
I maintainer di solito rispondono entro 1 giorno
-
Observability: Cron enhancementsForse già presa @vprashrex l’ha presa 6 giorni fa. Aperta
ProjectTech4DevAI/kaapi-backend#1304 · 1 assegnatario ·
I maintainer di solito rispondono entro 1 giorno
Tutte le issue di ProjectTech4DevAI/kaapi-backend
Issue simili
-
area/profiles comp/cli P3 type/feature
Difficoltà 2/5 1-3 ore Idoneità per principianti 74/100
NousResearch/hermes-agent#146372 ·
I maintainer di solito rispondono entro 1 giorno
-
[BUG] OpenAI-compatible embedding model alias breaks embedder constructionForse già presa Una pull request collegata a questa issue è aperta o già unita. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 65/100
I maintainer di solito rispondono entro 1 giorno
-
[oblt-aw][autodoc] Document obs-aw-automerge contract and fix automerge doc inconsistenciesForse già presa @github-actions l’ha presa oggi. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 76/100
I maintainer di solito rispondono entro 1 giorno
-
GeoSeries scale and skew tests fail with pytest 9.2.0Forse già presa @jiayuasu l’ha presa oggi. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
I maintainer di solito rispondono entro 1 giorno
-
admission-deferred priority: medium status: ready work-class: scoped
Difficoltà 2/5 1-3 ore Idoneità per principianti 70/100
melodic-software/claude-code-plugins#10887 · 4 commenti ·
I maintainer di solito rispondono entro 1 giorno