[Dataset Request] Add nvidia/Nemotron-PII — PII detection benchmark
还没有人认领这个 Issue。
评估
- 难度
- 3/5
- 预计耗时
- 1-2 天
- 新手友好度
- 65/100
- Issue 类型
- 功能
- 描述清晰度
- 基本清楚
- 活跃度
- 冷清
- 技术栈
- huggingface
调研方向
首先检查此仓库现有的数据集和排行榜索引工作流，然后查看 nvidia/Nemotron-PII 的 dataset card，了解其 schema、labels、许可证和评估任务。确认类似的 PII 或 token-classification 基准测试是如何表示的；除非有可接受的来源，否则不要添加结果；当数据集和 PII Detection 任务已使用所述指标和元数据完成索引时，即表示完成。
由索引模型根据 Issue 内容生成。
描述
Hi! I'd like to request indexing the Nemotron-PII dataset and a leaderboard for PII Detection.
Dataset
- HF:
nvidia/Nemotron-PII - Publisher: NVIDIA
- Size: 200,000 rows (100K train / 100K test), synthetic, ~30 domains
- Labels: 50+ PII types; character-level spans (
{start, end, text, label}) + inline-tagged text; English (US locale) - Task: PII Detection / span extraction (token classification)
- Primary metric: token/span-level F1 (micro-averaged)
- License: CC-BY-4.0
Suggested results to seed the leaderboard
⚠️ Single-source, self-reported. NVIDIA's dataset card publishes no baselines. The only public numbers I could find come from one community author (Kalyan KS), who trained the winning models — treat as a community claim, not an independent benchmark. Micro-F1 on 10K test instances:
| Model | Precision | Recall | F1 |
|---|---|---|---|
| GPT-4o-mini (zero-shot) | 95.21 | 67.05 | 78.69 |
| Ettin-32M (fine-tuned) | 95.96 | 95.49 | 95.73 |
| Ettin-68M (fine-tuned) | 96.35 | 96.19 | 96.27 |
Source: https://huggingface.co/blog/kalyan-ks/tiny-pii-entity-detection-models . Given the single-source provenance, it may be cleaner to request the dataset/task first and leave results for the community/maintainer to populate from pwc-archive or peer-reviewed work.
Note
A large, recent, industry-domain PII dataset with fine-grained labels — good complement to AI4Privacy and Privy. Thanks!
- 主要语言
- 没有语言数据
- 星标
- 11
- 派生
- 1
- PR 合并指标
- 30 天内没有已合并 PR
环境准备
这个项目没有提供开发容器、Dockerfile 或贡献指南，环境需要你自己搭建：先看它的 README，通用步骤见我们的新手贡献指南。
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
huggingface/paperswithcode-feedback 的其他 Issue
-
Data License未关闭
难度 1/5 1 小时以内 新手友好度 85/100
huggingface/paperswithcode-feedback#49 · 1 条评论 ·
-
难度 5/5 一周以上 新手友好度 25/100
-
难度 5/5 一周以上 新手友好度 30/100
-
难度 5/5 一周以上 新手友好度 28/100
huggingface/paperswithcode-feedback#41 · 1 条评论 · 1 个 reaction ·
-
Suggestions未关闭
难度 5/5 一周以上 新手友好度 25/100
查看 huggingface/paperswithcode-feedback 的全部 Issue
相似的 Issue
-
bug-unconfirmed
难度 2/5 1-3 小时 新手友好度 70/100
维护者通常 1 天内回复
-
documentation models
难度 1/5 1 小时以内 新手友好度 82/100
tenstorrent/tt-metal#63214 ·
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 78/100
UKGovernmentBEIS/inspect_evals#2788 ·
维护者通常 1 天内回复
-
enhancement
难度 2/5 1-3 小时 新手友好度 72/100
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 73/100
rishikanthc/Scriberr#497 ·