Partially overlapping spans from different rules not fully resolved
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Idoneità per principianti
- 52/100
- Tipo di issue
- Funzionalità
- Chiarezza
- Abbastanza chiara
- Stato di attività
- Attiva
- Stack tecnologico
- python
- Ambito
- machine-learning
Direzione di ricerca
Start by locating the executor’s span deduplication and overlap resolution logic, then read how rule outputs and span types are represented. Trace the existing same-position and IoU > 0.7 behavior before assessing how the opt-in strategy and cross-type option fit. Done means the defaults preserve current behavior and the requested overlap cases are covered by tests.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Problem
When several rules match overlapping text, the executor only removes duplicates at the exact same position or same-type spans with IoU > 0.7. Partial overlaps survive and are counted as false positives.
Examples from a flat NER dataset (annotation uses always the longest span):
- PER rule matches
Dr. John Doe - PER rule matches
John Doe - Gold
Dr. John Doe
IoU is 0.67 (<0.7) -> both are kept -> 1 TP and 1 FP
In this case keeping the shortest path is wrong.
Proposed solution
Add an opt-in overlap_strategy:
- None (default): current behaviour, unchanged
- longest: among overlapping spans, keep the longest (applies to overlaps with IoU <= 0.7, the default dedup does not remove)
Add cross_type_overlaps (default False): if True, resolve the conflict between spans of different type
- Lingua principale
- Python
- Stelle
- 34
- Fork
- 9
- Merge medio
- 9g 13h
- PR unite (30g)
- 1
Preparare l'ambiente
- Nessun Dockerfile né file Docker Compose
- Ha un modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di KRLabsOrg/rulechef
-
Reproducible learning runsForse già presa @nadiaverdha l’ha presa 8 giorni fa. Aperta
Difficoltà 4/5 3-5 giorni Idoneità per principianti 25/100
-
Add option to interleave patch failures by entity textForse già presa @nadiaverdha l’ha presa 11 giorni fa. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 20/100
-
research
Difficoltà 5/5 Più di una settimana Idoneità per principianti 32/100
-
research
Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100
-
research
Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100
Tutte le issue di KRLabsOrg/rulechef
Issue simili
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 84/100
FAIRmat-NFDI/pynxtools#861 ·
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 76/100
NVIDIA/nsight-python#88 ·
I maintainer di solito rispondono entro 1 giorno
-
Criteria can pass when the deliverable is missingForse già presa @clementtisseau l’ha presa oggi. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
harveyai/harvey-labs#217 ·
I maintainer di solito rispondono entro 2 giorni
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 62/100
I maintainer di solito rispondono entro 1 giorno
-
priority/medium roadmap/v1.1.1 stakeholder/rapr type/bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 83/100
databrickslabs/ontos#1420 ·
I maintainer di solito rispondono entro 3 giorni