Annotate pre-training datasets for copyright
@jsaizant arbeitet bereits daran.
Seit 17.9.2026.
Bewertung
Dieses Issue wurde noch nicht bewertet.
Beschreibung
Task framed within the WP3.4 Regulatory Compliance for detecting licenses and copyright-related content in text pre-training datasets, mainly coming from OCR processes, and for filtering out restrictive or copyrighted documents based on that detection.
There is an existing module developed and tested by the BSC, mainly consisting of a set of rules and heuristics for Spanish and English. The characteristics and limitations will be explained in detailed in this task, along with the repository with the code and test data which will be linked as well. The module originated from the necessity of filtering the FinePDFs dataset, which contains many OCR-based texts with copyright flags.
The expected outcome of this task is:
- Publish copyright detection module on OELLM GitHub.
- Apply copyright detection module to FinePDFs.
- Analyze annotations and data retention in FInePDFS after filtering copyright.
- Integrate filtered FinePDFs in the WP3 Training Catalogue.
- Iterate over the copyright detection module.
- Vorherrschende Sprache
- Keine Sprachdaten
- Sterne
- 3
- Forks
- 0
- PR-Merge-Kennzahlen
- Keine gemergten PRs in 30 T.
Entwicklungsumgebung
Dieses Projekt bietet weder Dev-Container noch Dockerfile noch Beitragsleitfaden – die Einrichtung liegt bei Ihnen. Beginnen Sie mit der README; die allgemeinen Schritte stehen in unserem Leitfaden für den ersten Beitrag.
Erste Schritte
- Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
- Forken Sie das Repository und arbeiten Sie in einem Branch.
- Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.
Mehr aus OpenEuroLLM/Taskboard
-
[nucleus sparse] Experiment setupEvtl. vergeben @aaronkl hat das vor 11 Tagen übernommen. OffenT4.1 - Optimization HPC T4.2 - model exploration
OpenEuroLLM/Taskboard#439 · 1 Kommentar · 1 Reaktion · 1 zugewiesene Person ·
-
Qwen3.5 35B-A3B hybrid MoE weak and strong scalingEvtl. vergeben @ibaucells hat das vor 11 Tagen übernommen. OffenT4.1 - Optimization HPC
OpenEuroLLM/Taskboard#438 · 2 Kommentare · 1 zugewiesene Person ·
-
Synthetic Generation for Multilingual Instruction TuningEvtl. vergeben @abhash-er hat das vor 12 Tagen übernommen. Offen4.6 post-training
OpenEuroLLM/Taskboard#437 · 1 zugewiesene Person ·
-
Safety and alignment evaluationEvtl. vergeben @BirgerMoell hat das vor 12 Tagen übernommen. Offen4.6 post-training
OpenEuroLLM/Taskboard#436 · 1 zugewiesene Person ·
-
Finding optimal dataset mixtures for DPOEvtl. vergeben @geoalgo hat das vor 12 Tagen übernommen. Offen4.6 post-training
OpenEuroLLM/Taskboard#435 · 3 zugewiesene Personen ·