Validation: Improve topic relevance checks
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 3/5
- Tempo stimato
- 1-2 giorni
- Idoneità per principianti
- 52/100
- Tipo di issue
- Bug
- Chiarezza
- Abbastanza chiara
- Stato di attività
- Tranquilla
- Stack tecnologico
- python
- Ambito
- ai-infra-agents, security
Direzione di ricerca
Inizia dal run guardrails endpoint e traccia la sequenza dei validator di rilevanza dell’argomento, insulti lessicali e rimozione dei PII. Riproduci il caso con tag oscurati e verifica che la rilevanza dell’argomento non venga eseguita sul testo corretto quando il contesto rimanente corrisponde all’ambito dell’argomento.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Describe the bug
if along with topic relevance validator we send some other validator such as lexical slur match or PII remover to the run guardrails endpoint, then if the input text has slur words or some PII, then respectively those validators will replace the specific words with [REDACTED_SLUR] or the pii entity tag such as [PHONE_NUMBER], after the words are detected and tagged, when the fixed input text goes to topic relevance validator, it will fail even if the rest of the context of the input still contained something related to the topic scope only.
Expected behavior
The fixed input text with redacted slur and pii entity tags should not be going to the topic relevance validator, because even if the main context is accurate to the scope, it will fail.
- Lingua principale
- Python
- Stelle
- 5
- Fork
- 3
- Merge medio
- 9g 13h
- PR unite (30g)
- 2
Guida per i contributori
Nessuna guida per i contributori indicizzata per questo repository
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di ProjectTech4DevAI/kaapi-guardrails
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
-
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 65/100
-
ProjectTech4DevAI/kaapi-guardrails#158 · 1 assegnatario ·
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 45/100
-
Difficoltà 3/5 1-2 giorni Idoneità per principianti 55/100
Tutte le issue di ProjectTech4DevAI/kaapi-guardrails
Issue simili
-
bug confirmed issue
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
open-webui/open-webui#30750 · 1 commento ·
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
-
enhancement
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
OpenwaterHealth/openmotion-bloodflow-app#604 · 1 commento ·
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 70/100
-
good first issue
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 90/100