[Dataset Request] Add nvidia/Nemotron-PII — PII detection benchmark
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 3/5
- Tiempo estimado
- 1-2 días
- Aptitud para principiantes
- 65/100
- Tipo de issue
- Nueva funcionalidad
- Claridad
- Bastante claro
- Estado de actividad
- Tranquilo
- Stack tecnológico
- huggingface
- Área
- machine-learning, security
Línea de trabajo
Empieza inspeccionando el flujo de trabajo existente de este repositorio para indexar datasets y leaderboards; después, revisa la dataset card de nvidia/Nemotron-PII para conocer su esquema, labels, licencia y tarea de evaluación. Confirma cómo se representan benchmarks similares de PII o token-classification, y no añadas resultados a menos que haya una fuente aceptada disponible; se considera terminado cuando el dataset y la tarea PII Detection estén indexados con la métrica y los metadatos indicados.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Hi! I'd like to request indexing the Nemotron-PII dataset and a leaderboard for PII Detection.
Dataset
- HF:
nvidia/Nemotron-PII - Publisher: NVIDIA
- Size: 200,000 rows (100K train / 100K test), synthetic, ~30 domains
- Labels: 50+ PII types; character-level spans (
{start, end, text, label}) + inline-tagged text; English (US locale) - Task: PII Detection / span extraction (token classification)
- Primary metric: token/span-level F1 (micro-averaged)
- License: CC-BY-4.0
Suggested results to seed the leaderboard
⚠️ Single-source, self-reported. NVIDIA's dataset card publishes no baselines. The only public numbers I could find come from one community author (Kalyan KS), who trained the winning models — treat as a community claim, not an independent benchmark. Micro-F1 on 10K test instances:
| Model | Precision | Recall | F1 |
|---|---|---|---|
| GPT-4o-mini (zero-shot) | 95.21 | 67.05 | 78.69 |
| Ettin-32M (fine-tuned) | 95.96 | 95.49 | 95.73 |
| Ettin-68M (fine-tuned) | 96.35 | 96.19 | 96.27 |
Source: https://huggingface.co/blog/kalyan-ks/tiny-pii-entity-detection-models . Given the single-source provenance, it may be cleaner to request the dataset/task first and leave results for the community/maintainer to populate from pwc-archive or peer-reviewed work.
Note
A large, recent, industry-domain PII dataset with fine-grained labels — good complement to AI4Privacy and Privy. Thanks!
- Lenguaje dominante
- Sin datos de lenguaje
- Estrellas
- 11
- Forks
- 1
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Preparar el entorno
Este proyecto no incluye contenedor de desarrollo, Dockerfile ni guía de contribución, así que la configuración corre por tu cuenta: empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de huggingface/paperswithcode-feedback
-
Data LicenseAbierto
Dificultad 1/5 Menos de una hora Aptitud para principiantes 85/100
huggingface/paperswithcode-feedback#49 · 1 comentario ·
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 30/100
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 28/100
huggingface/paperswithcode-feedback#41 · 1 comentario · 1 reacción ·
-
SuggestionsAbierto
Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100
Todos los issues de huggingface/paperswithcode-feedback
Issues similares
-
pnnx: manual tanh GELU fusion loses the approximation modePosiblemente ocupada @ktz03 la tomó hoy. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
Tencent/ncnn#7175 · 1 reacción ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
Arekkazu/sgpmp-backend#744 ·
Los mantenedores suelen responder en 1 día
-
ver: 2.7.x
Dificultad 2/5 1-3 horas Aptitud para principiantes 84/100
Lightning-AI/pytorch-lightning#22059 ·
Los mantenedores suelen responder en 1 día
-
enhancement good first issue
Dificultad 2/5 1-3 horas Aptitud para principiantes 84/100
selimfirat/pysad#426 ·
Los mantenedores suelen responder en 1 día
-
regression skipped skipped_bmg
Dificultad 2/5 1-3 horas Aptitud para principiantes 67/100
intel/torch-xpu-ops#5858 ·
Los mantenedores suelen responder en 2 días