Hacktoberfest 2026 : les issues que les mainteneurs ont marquées pour octobre, ouvertes et accessibles aux débutants. Parcourir les issues Hacktoberfest

[Dataset Request] Add Privy — PII detection in structured payloads

Ouverte
  • Quelque chose ne va pas ?
#32 0 commentaires 0 réactions 0 personnes assignées Voir sur GitHub

Personne n'a encore pris cette issue.

Évaluation

Difficulté
3/5
Temps estimé
1-2 jours
Accessibilité débutants
64/100
Type d'issue
Fonctionnalité
Clarté
Plutôt claire
Activité
Calme
Stack technique
huggingface
Domaine
data, machine-learning

Piste de recherche

Commencez par examiner les métadonnées du dataset Privy dans beki/privy ainsi que les deux model cards liées, puis inspectez les points d’entrée existants de ce repository pour l’indexation des datasets et des leaderboards. Le travail est considéré comme terminé lorsque Privy est indexé pour la détection de PII structurées/semi-structurées, que les entrées demandées du leaderboard de F1 au niveau des spans sont présentes et qu’une note explicite indique que les scores initiaux utilisent une évaluation réduite à cinq classes.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Description

Hi! I'd like to request indexing the Privy dataset and a leaderboard for PII Detection (structured / code-adjacent text).

Dataset
  • HF: piimb/privy — a duplicate of the authoritative beki/privy (cite beki/privy for metadata)
  • Origin: Benjamin Kilimnik (2022), part of the Pixie project — generator at https://github.com/pixie-io/pixie/tree/main/src/datagen/pii/privy ; write-up https://blog.px.dev/detect-pii/
  • Size: ~308 MB (HF size category 100K–1M rows)
  • Distinctive: PII embedded in JSON / SQL / XML / HTML payloads (not prose)
  • Labels: 26 labels covering 60+ PII data providers (PERSON, CREDIT_CARD, US_SSN, IBAN_CODE, IP_ADDRESS, etc.); token/span labeled
  • Task: PII Detection in structured/semi-structured text
  • Primary metric: entity/span-level F1
  • License: MIT
Suggested results to seed the leaderboard

Verified from the model card:

Model Metric F1 Source
beki/en_spacy_pii_distilbert (spaCy transformer NER) entity-level F (spaCy scorer) 0.954 (P 0.953 / R 0.955) card
beki/flair-pii-distilbert (Flair) F1 0.9522 card

⚠️ Caveat: both models were trained/evaluated on a reduced 5-class subset (PER, LOC, ORG, DATE_TIME, NRP), not the dataset's full 26-label set — so 0.954 is not full-PII-coverage F1. Note this when seeding the leaderboard. More entries can be imported from pwc-archive/evaluation-tables if present.

Note

Fills a real gap — most PII benchmarks are prose; Privy tests detection inside structured payloads (SQL/JSON/XML/HTML). Thanks!

Langage dominant
Aucune donnée de langage
Étoiles
11
Forks
1
Aucune PR mergée en 30 j

Préparer son environnement

Ce projet ne fournit ni conteneur de développement, ni Dockerfile, ni guide de contribution : l'installation est à votre charge. Commencez par son README, et consultez notre guide de la première contribution pour les étapes générales.

Par où commencer

  1. Lisez l'issue en entier, puis le guide de contribution du projet.
  2. Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
  3. Forkez le dépôt et travaillez sur une branche.
  4. Ouvrez une pull request qui référence le numéro de l'issue.

Autres issues de huggingface/paperswithcode-feedback

Toutes les issues de huggingface/paperswithcode-feedback

Issues similaires

Plus d'issues Data Engineering

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.