[Dataset Request] Add Privy — PII detection in structured payloads
还没有人认领这个 Issue。
评估
- 难度
- 3/5
- 预计耗时
- 1-2 天
- 新手友好度
- 64/100
- Issue 类型
- 功能
- 描述清晰度
- 基本清楚
- 活跃度
- 冷清
- 技术栈
- huggingface
- 领域
- data, machine-learning
调研方向
首先查看 beki/privy 中的 Privy 数据集元数据和两个链接的模型卡，然后检查此仓库中现有的数据集与 leaderboard 索引入口点。完成的标准是：Privy 已针对结构化/半结构化 PII 检测建立索引，已添加所请求的 span-level F1 leaderboard 条目，并明确注明 seeded scores 使用的是缩减为五类的评估。
由索引模型根据 Issue 内容生成。
描述
Hi! I'd like to request indexing the Privy dataset and a leaderboard for PII Detection (structured / code-adjacent text).
Dataset
- HF:
piimb/privy— a duplicate of the authoritativebeki/privy(citebeki/privyfor metadata) - Origin: Benjamin Kilimnik (2022), part of the Pixie project — generator at https://github.com/pixie-io/pixie/tree/main/src/datagen/pii/privy ; write-up https://blog.px.dev/detect-pii/
- Size: ~308 MB (HF size category 100K–1M rows)
- Distinctive: PII embedded in JSON / SQL / XML / HTML payloads (not prose)
- Labels: 26 labels covering 60+ PII data providers (PERSON, CREDIT_CARD, US_SSN, IBAN_CODE, IP_ADDRESS, etc.); token/span labeled
- Task: PII Detection in structured/semi-structured text
- Primary metric: entity/span-level F1
- License: MIT
Suggested results to seed the leaderboard
Verified from the model card:
| Model | Metric | F1 | Source |
|---|---|---|---|
beki/en_spacy_pii_distilbert (spaCy transformer NER) |
entity-level F (spaCy scorer) | 0.954 (P 0.953 / R 0.955) | card |
beki/flair-pii-distilbert (Flair) |
F1 | 0.9522 | card |
⚠️ Caveat: both models were trained/evaluated on a reduced 5-class subset (PER, LOC, ORG, DATE_TIME, NRP), not the dataset's full 26-label set — so 0.954 is not full-PII-coverage F1. Note this when seeding the leaderboard. More entries can be imported from pwc-archive/evaluation-tables if present.
Note
Fills a real gap — most PII benchmarks are prose; Privy tests detection inside structured payloads (SQL/JSON/XML/HTML). Thanks!
- 主要语言
- 没有语言数据
- 星标
- 11
- 派生
- 1
- PR 合并指标
- 30 天内没有已合并 PR
环境准备
这个项目没有提供开发容器、Dockerfile 或贡献指南，环境需要你自己搭建：先看它的 README，通用步骤见我们的新手贡献指南。
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
huggingface/paperswithcode-feedback 的其他 Issue
-
Data License未关闭
难度 1/5 1 小时以内 新手友好度 85/100
huggingface/paperswithcode-feedback#49 · 1 条评论 ·
-
难度 5/5 一周以上 新手友好度 25/100
-
难度 5/5 一周以上 新手友好度 30/100
-
难度 5/5 一周以上 新手友好度 28/100
huggingface/paperswithcode-feedback#41 · 1 条评论 · 1 个 reaction ·
-
Suggestions未关闭
难度 5/5 一周以上 新手友好度 25/100
查看 huggingface/paperswithcode-feedback 的全部 Issue
相似的 Issue
-
bug
难度 2/5 1-3 小时 新手友好度 66/100
Azure/azureml-examples#4139 ·
维护者通常 4 天内回复
-
bug prov-json prov.model
难度 2/5 1-3 小时 新手友好度 73/100
维护者通常 1 天内回复
-
bug needs triage
难度 2/5 1-3 小时 新手友好度 88/100
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 78/100
维护者通常 1 天内回复
-
bug good first issue
难度 2/5 1-3 小时 新手友好度 78/100
维护者通常 1 天内回复