Annotate pre-training datasets for copyright
@jsaizant ya está trabajando en esto.
Desde el 17/9/2026.
Evaluación
Este issue todavía no se ha evaluado.
Descripción
Task framed within the WP3.4 Regulatory Compliance for detecting licenses and copyright-related content in text pre-training datasets, mainly coming from OCR processes, and for filtering out restrictive or copyrighted documents based on that detection.
There is an existing module developed and tested by the BSC, mainly consisting of a set of rules and heuristics for Spanish and English. The characteristics and limitations will be explained in detailed in this task, along with the repository with the code and test data which will be linked as well. The module originated from the necessity of filtering the FinePDFs dataset, which contains many OCR-based texts with copyright flags.
The expected outcome of this task is:
- Publish copyright detection module on OELLM GitHub.
- Apply copyright detection module to FinePDFs.
- Analyze annotations and data retention in FInePDFS after filtering copyright.
- Integrate filtered FinePDFs in the WP3 Training Catalogue.
- Iterate over the copyright detection module.
- Lenguaje dominante
- Sin datos de lenguaje
- Estrellas
- 3
- Forks
- 0
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Preparar el entorno
Este proyecto no incluye contenedor de desarrollo, Dockerfile ni guía de contribución, así que la configuración corre por tu cuenta: empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de OpenEuroLLM/Taskboard
-
[nucleus sparse] Experiment setupPosiblemente ocupada @aaronkl la tomó hace 7 días. AbiertoT4.1 - Optimization HPC T4.2 - model exploration
OpenEuroLLM/Taskboard#439 · 1 reacción · 1 asignado ·
-
Qwen3.5 35B-A3B hybrid MoE weak and strong scalingPosiblemente ocupada @ibaucells la tomó hace 7 días. AbiertoT4.1 - Optimization HPC
OpenEuroLLM/Taskboard#438 · 2 comentarios · 1 asignado ·
-
Synthetic Generation for Multilingual Instruction TuningPosiblemente ocupada @abhash-er la tomó hace 8 días. Abierto4.6 post-training
OpenEuroLLM/Taskboard#437 · 1 asignado ·
-
Safety and alignment evaluationPosiblemente ocupada @BirgerMoell la tomó hace 8 días. Abierto4.6 post-training
OpenEuroLLM/Taskboard#436 · 1 asignado ·
-
Finding optimal dataset mixtures for DPOPosiblemente ocupada @geoalgo la tomó hace 8 días. Abierto4.6 post-training
OpenEuroLLM/Taskboard#435 · 3 asignados ·