Ensure that we do long context evaluation throughout the pipeline (at all stages)
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 5/5
- Tiempo estimado
- Más de una semana
- Aptitud para principiantes
- 35/100
- Tipo de issue
- Nueva funcionalidad
- Claridad
- Necesita aclaración
- Estado de actividad
- Tranquilo
- Área
- machine-learning, testing-qa
Línea de trabajo
Comienza por mapear las etapas de SFT, DP y RL mencionadas en el issue e identificar cómo se ejecutan actualmente las evaluaciones de postentrenamiento. Añade tareas de contexto largo, como NiH, a las evaluaciones de postentrenamiento en cada etapa y, después, verifica que la cobertura de contexto largo esté presente en todo el pipeline.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Goal
We need to ensure that we do not lose long context capabilities at SFT, DP, RL, et.c.
Description
Deliverable scope
Include Long context tasks in post-training evals (NiH, et.c)
Dependencies
- Lenguaje dominante
- Sin datos de lenguaje
- Estrellas
- 3
- Forks
- 0
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Preparar el entorno
Este proyecto no incluye contenedor de desarrollo, Dockerfile ni guía de contribución, así que la configuración corre por tu cuenta: empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de OpenEuroLLM/Taskboard
-
[nucleus sparse] Experiment setupPosiblemente ocupada @aaronkl la tomó hace 10 días. AbiertoT4.1 - Optimization HPC T4.2 - model exploration
OpenEuroLLM/Taskboard#439 · 1 comentario · 1 reacción · 1 asignado ·
-
Qwen3.5 35B-A3B hybrid MoE weak and strong scalingPosiblemente ocupada @ibaucells la tomó hace 11 días. AbiertoT4.1 - Optimization HPC
OpenEuroLLM/Taskboard#438 · 2 comentarios · 1 asignado ·
-
Synthetic Generation for Multilingual Instruction TuningPosiblemente ocupada @abhash-er la tomó hace 12 días. Abierto4.6 post-training
OpenEuroLLM/Taskboard#437 · 1 asignado ·
-
Safety and alignment evaluationPosiblemente ocupada @BirgerMoell la tomó hace 12 días. Abierto4.6 post-training
OpenEuroLLM/Taskboard#436 · 1 asignado ·
-
Finding optimal dataset mixtures for DPOPosiblemente ocupada @geoalgo la tomó hace 12 días. Abierto4.6 post-training
OpenEuroLLM/Taskboard#435 · 3 asignados ·
Todos los issues de OpenEuroLLM/Taskboard
Issues similares
-
[Platform][OpenAi] Non-streaming structured output parses commentary instead of final_answerAbiertoBug Platform Status: Needs Review
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
Los mantenedores suelen responder en 1 día
-
discussion tuning
Dificultad 1/5 Menos de una hora Aptitud para principiantes 90/100
stew675/llama-cpp-rdna-boosts#214 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
aws-samples/sample-aiml-security-assessment#90 ·
Los mantenedores suelen responder en 8 días
-
Eval bug: minimax-m3: build_moe_ffn() drops the per-expert NVFP4 scale → garbled output (M3.1 Flash)Abiertobug-unconfirmed
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
Los mantenedores suelen responder en 1 día