Hacktoberfest 2026: le issue che i maintainer hanno segnato per ottobre, aperte e adatte ai principianti. Sfoglia le issue Hacktoberfest

Guardrails: Topic relevance evaluation

Aperta
#102 1 commento 0 reazioni 1 assegnatario Vedi su GitHub

@AkhileshNegi ci sta già lavorando.

Dal 30/4/2026.

Valutazione

Questa issue non è ancora stata valutata.

Descrizione

Is your feature request related to a problem?
We need to ensure that the assistant provides relevant responses in SNEHA's program domains and avoids off-topic queries. This is crucial for maintaining the quality of interactions in real-world scenarios.

Describe the solution you'd like

  • Run the topic relevance guardrail from kaapi-guardrails on a randomly sampled subset of ~14,605 conversations of SNEHA.
  • Start with 100 conversations to refine the prompt, then 500, and finally ~1.5k (~10% sampling).
  • Document results since we don't yet have annotations or a known on-topic/off-topic ratio to stratify on.
Lingua principale
Python
Stelle
5
Fork
3
Merge medio
9g 13h
PR unite (30g)
2

Guida per i contributori

Nessuna guida per i contributori indicizzata per questo repository

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di ProjectTech4DevAI/kaapi-guardrails

Tutte le issue di ProjectTech4DevAI/kaapi-guardrails

Issue simili

Altre issue su Python

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.