Safety spans: harm, jailbreak, PII
I maintainer di solito rispondono entro 1 giorno
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Idoneità per principianti
- 12/100
- Tipo di issue
- Funzionalità
- Chiarezza
- Da chiarire
- Stato di attività
- Tranquilla
- Ambito
- machine-learning, security
Direzione di ricerca
The payload names no files or tests. Start from the zero-shot label mechanism in #92, the enabler this issue depends on, and check whether new safety labels can be tried without training. Done means a pilot of about 200 span-labelled examples, zero-shot typed evaluation on them, and a written decision on whether safety spans enter the core product or stay research.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Extend span detection from hallucination to safety: harmful content, jailbreak / prompt-injection, and PII, as typed character spans grounded against the request and context. Research track; the zero-shot label mechanism (#92) is the enabler, so new safety labels can be tried before any training.
Done looks like: a ~200-example pilot with span labels; zero-shot typed evaluation on it; a written call on whether safety spans enter the core product or stay research.
This capability is what a 0.3.0 release is reserved for; the inference/packaging work ships as 0.2.x patches.
- Lingua principale
- Python
- Stelle
- 615
- Fork
- 60
- Merge medio
- 1g 8h
- PR unite (30g)
- 10
Preparare l'ambiente
- Nessun Dockerfile né file Docker Compose
- Ha un modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di KRLabsOrg/LettuceDetect
-
Stop-hook --min-confidence drops every --llm-model span (missing confidence treated as 0.0), reporting hallucinated answers as cleanForse già presa @Clannad47 l’ha presa 18 giorni fa. Apertabug
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
KRLabsOrg/LettuceDetect#117 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
enhancement
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 85/100
KRLabsOrg/LettuceDetect#108 ·
I maintainer di solito rispondono entro 1 giorno
-
documentation
Difficoltà 2/5 Mezza giornata Idoneità per principianti 70/100
KRLabsOrg/LettuceDetect#104 ·
I maintainer di solito rispondono entro 1 giorno
-
ready-for-agent
Difficoltà 3/5 1-2 giorni Idoneità per principianti 68/100
KRLabsOrg/LettuceDetect#181 ·
I maintainer di solito rispondono entro 1 giorno
-
ready-for-agent
Difficoltà 5/5 Più di una settimana Idoneità per principianti 22/100
KRLabsOrg/LettuceDetect#180 ·
I maintainer di solito rispondono entro 1 giorno
Tutte le issue di KRLabsOrg/LettuceDetect
Issue simili
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 65/100
adafruit/Fruit-Jam-OS#98 ·
-
python triage
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
microsoft/semantic-kernel#14753 ·
I maintainer di solito rispondono entro 5 giorni
-
area:cli area:configuration documentation priority:low size:small
Difficoltà 1/5 1-3 ore Idoneità per principianti 80/100
RonaldHensbergen/composable-data-stack#1222 ·
I maintainer di solito rispondono entro 1 giorno
-
bug python
Difficoltà 2/5 1-3 ore Idoneità per principianti 86/100
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
pvlib/pvlib-python#2939 ·
I maintainer di solito rispondono entro 1 giorno