Zero-width characters inside a name produce a different entity id

Aperta Adatta ai principianti
#341 2 commenti 0 reazioni 0 assegnatari Vedi su GitHub

I maintainer di solito rispondono entro 1 giorno

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
2/5
Tempo stimato
1-3 ore
Idoneità per principianti
78/100
Tipo di issue
Bug
Chiarezza
Specificata chiaramente
Stato di attività
Attiva
Stack tecnologico
typescript
Ambito
backend

Direzione di ricerca

Inizia in src/selfgraph/ids.py, alla funzione _canonical_name, e trova l’implementazione TypeScript corrispondente della canonicalizzazione dei nomi. Controlla come vengono gestiti i caratteri di formato prima di separare le parole, quindi confronta il comportamento dei caratteri invisibili elencati all’interno e ai bordi dei nomi. Il lavoro è completato quando producono lo stesso ID entità del nome visibile in entrambe le implementazioni.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

approved-for-pr area: write bug effort: S P3

What happens

An invisible format character inside an entity name becomes a word break in the derived id. entity_id("Person", "Ac​me") is person:ac-me, a different entity from person:acme, although both names render as "Acme". U+200D (zero-width joiner), U+00AD (soft hyphen) and U+2060 (word joiner) do the same.

The same characters at the start or end of a name are dropped: "Acme", "Acme‏", "‮Acme" and "⁦Acme⁩" all give person:acme. So whether an invisible character changes the id depends on where it sits. Names copied from web pages or PDFs often carry these.

Reproduce

On main (5a277c9):

from selfgraph import entity_id

for name in ["Acme", "Ac​me", "Ac‍me", "Ac­me", "Ac⁠me", "Acme", "Acme‏"]:
    print(repr(name), entity_id("Person", name))
'Acme' person:acme
'Ac​me' person:ac-me
'Ac‍me' person:ac-me
'Ac\xadme' person:ac-me
'Ac⁠me' person:ac-me
'Acme' person:acme
'Acme‏' person:acme

Cause

src/selfgraph/ids.py, _canonical_name: _PUNCT replaces format characters (category Cf) with a space before splitting into words. Removing Cf characters inside a name, as already happens at its edges, would keep these names on one id. The TypeScript port needs the same change.

Lingua principale
TypeScript
Stelle
173
Fork
58
Merge medio
6h
PR unite (30g)
120

Preparare l'ambiente

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di hydra-db/selfgraph

Tutte le issue di hydra-db/selfgraph

Issue simili

Altre issue su TypeScript

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.