Safety and alignment evaluation
@BirgerMoell ya está trabajando en esto.
Desde el 12/10/2026.
Evaluación
Este issue todavía no se ha evaluado.
Descripción
Multilingual safety and alignment evaluation of post-trained checkpoints
Goal
Evaluate whether SFT, DPO and subsequent post-training stages improve safety and alignment across OpenEuroLLM’s target languages, while identifying regressions that an overall score could hide.
Description
Use EUROPA Alignment to compare pinned checkpoints under the same generation and judging protocol.
Its public v0.1 suite covers 16 scenarios in each of 36 languages across refusal calibration, human wellbeing, privacy and security, high-stakes decisions, dangerous-capability boundaries, and agentic control.
Review individual answers, critical gate failures, over-refusal, malformed responses and the weakest languages alongside aggregate scores. The current DPO run provides initial evidence and a comparison with the SFT checkpoint.
The suite is a development pilot: 35 translated language packs await native review, and judge scores need human calibration. Report these limits with every comparison; do not treat the public suite as a release certification.
Deliverable scope
- Run the complete suite on the selected base/SFT, DPO and later release-candidate checkpoints using pinned model revisions and a consistent protocol.
- Publish reproducible results with per-language and per-domain comparisons, critical failures, over-refusal and representative answer-level evidence.
- Investigate material regressions and weak-language results; record whether they arise from model behavior, translation quality, output formatting or judge errors.
- Obtain native-speaker review and judge calibration for results used to support release decisions, and document remaining evaluation limits.
Dependencies
Exported, loadable checkpoints and evaluation compute; EUROPA Alignment and a pinned independent judge. Native review of translated scenarios and human calibration of judge decisions are required before making release-level multilingual safety claims.
- Lenguaje dominante
- Sin datos de lenguaje
- Estrellas
- 3
- Forks
- 0
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Preparar el entorno
Este proyecto no incluye contenedor de desarrollo, Dockerfile ni guía de contribución, así que la configuración corre por tu cuenta: empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de OpenEuroLLM/Taskboard
-
[nucleus sparse] Experiment setupPosiblemente ocupada @aaronkl la tomó hace 8 días. AbiertoT4.1 - Optimization HPC T4.2 - model exploration
OpenEuroLLM/Taskboard#439 · 1 reacción · 1 asignado ·
-
Qwen3.5 35B-A3B hybrid MoE weak and strong scalingPosiblemente ocupada @ibaucells la tomó hace 8 días. AbiertoT4.1 - Optimization HPC
OpenEuroLLM/Taskboard#438 · 2 comentarios · 1 asignado ·
-
Synthetic Generation for Multilingual Instruction TuningPosiblemente ocupada @abhash-er la tomó hace 9 días. Abierto4.6 post-training
OpenEuroLLM/Taskboard#437 · 1 asignado ·
-
Finding optimal dataset mixtures for DPOPosiblemente ocupada @geoalgo la tomó hace 9 días. Abierto4.6 post-training
OpenEuroLLM/Taskboard#435 · 3 asignados ·
-
DPO checkpoint mergingPosiblemente ocupada @HannanJaved la tomó hace 9 días. Abierto4.6 post-training
OpenEuroLLM/Taskboard#434 · 2 comentarios · 1 asignado ·