Annotate pre-training datasets for copyright
@jsaizant ci sta già lavorando.
Dal 17/9/2026.
Valutazione
Questa issue non è ancora stata valutata.
Descrizione
Task framed within the WP3.4 Regulatory Compliance for detecting licenses and copyright-related content in text pre-training datasets, mainly coming from OCR processes, and for filtering out restrictive or copyrighted documents based on that detection.
There is an existing module developed and tested by the BSC, mainly consisting of a set of rules and heuristics for Spanish and English. The characteristics and limitations will be explained in detailed in this task, along with the repository with the code and test data which will be linked as well. The module originated from the necessity of filtering the FinePDFs dataset, which contains many OCR-based texts with copyright flags.
The expected outcome of this task is:
- Publish copyright detection module on OELLM GitHub.
- Apply copyright detection module to FinePDFs.
- Analyze annotations and data retention in FInePDFS after filtering copyright.
- Integrate filtered FinePDFs in the WP3 Training Catalogue.
- Iterate over the copyright detection module.
- Lingua principale
- Nessun dato sulla lingua
- Stelle
- 3
- Fork
- 0
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Preparare l'ambiente
Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di OpenEuroLLM/Taskboard
-
[nucleus sparse] Experiment setupForse già presa @aaronkl l’ha presa 9 giorni fa. ApertaT4.1 - Optimization HPC T4.2 - model exploration
OpenEuroLLM/Taskboard#439 · 1 commento · 1 reazione · 1 assegnatario ·
-
Qwen3.5 35B-A3B hybrid MoE weak and strong scalingForse già presa @ibaucells l’ha presa 9 giorni fa. ApertaT4.1 - Optimization HPC
OpenEuroLLM/Taskboard#438 · 2 commenti · 1 assegnatario ·
-
Synthetic Generation for Multilingual Instruction TuningForse già presa @abhash-er l’ha presa 10 giorni fa. Aperta4.6 post-training
OpenEuroLLM/Taskboard#437 · 1 assegnatario ·
-
Safety and alignment evaluationForse già presa @BirgerMoell l’ha presa 10 giorni fa. Aperta4.6 post-training
OpenEuroLLM/Taskboard#436 · 1 assegnatario ·
-
Finding optimal dataset mixtures for DPOForse già presa @geoalgo l’ha presa 10 giorni fa. Aperta4.6 post-training
OpenEuroLLM/Taskboard#435 · 3 assegnatari ·