Post-flagship: explore the architecture that is optimal for deployment
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 5/5
- Tiempo estimado
- Más de una semana
- Aptitud para principiantes
- 20/100
- Tipo de issue
- Nueva funcionalidad
- Claridad
- Necesita aclaración
- Estado de actividad
- Tranquilo
- Área
- machine-learning, performance
Línea de trabajo
El issue no especifica archivos, pruebas ni puntos de entrada. Empieza por definir el entregable que falta y acotar las opciones enumeradas: manejo de contextos largos, atención de ventana deslizante o híbrida, cuantización, compatibilidad de conversión y escalado débil. El trabajo estará terminado cuando incluya una decisión de arquitectura documentada, sus criterios de evaluación y los resultados de escalado débil solicitados.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Goal
Raised in a model exploration meeting: what can we try to attempt to come up with the most optimal architecture. The issue is considered to be exploratory task for post-flagship.
Description
This includes
- efficient long context handling
- sliding window attention
- hybrid (eg Qwen 3.5 design, gated delta net layers)
- aim for 1M context length in final version?
- Quantization aware (easy to quantize to lower precision, eg NVFP4); easy GGUF conversion; llama.cpp compat, etc
TODO: add possible modifications list to the task - re-do weak scaling now
Deliverable scope
(What is the expected outcome for this issue to be complete)
Dependencies
(Blocking issues, PRs, or external factors)
- Lenguaje dominante
- Sin datos de lenguaje
- Estrellas
- 3
- Forks
- 0
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Preparar el entorno
Este proyecto no incluye contenedor de desarrollo, Dockerfile ni guía de contribución, así que la configuración corre por tu cuenta: empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de OpenEuroLLM/Taskboard
-
[nucleus sparse] Experiment setupPosiblemente ocupada @aaronkl la tomó hace 9 días. AbiertoT4.1 - Optimization HPC T4.2 - model exploration
OpenEuroLLM/Taskboard#439 · 1 reacción · 1 asignado ·
-
Qwen3.5 35B-A3B hybrid MoE weak and strong scalingPosiblemente ocupada @ibaucells la tomó hace 9 días. AbiertoT4.1 - Optimization HPC
OpenEuroLLM/Taskboard#438 · 2 comentarios · 1 asignado ·
-
Synthetic Generation for Multilingual Instruction TuningPosiblemente ocupada @abhash-er la tomó hace 10 días. Abierto4.6 post-training
OpenEuroLLM/Taskboard#437 · 1 asignado ·
-
Safety and alignment evaluationPosiblemente ocupada @BirgerMoell la tomó hace 10 días. Abierto4.6 post-training
OpenEuroLLM/Taskboard#436 · 1 asignado ·
-
Finding optimal dataset mixtures for DPOPosiblemente ocupada @geoalgo la tomó hace 10 días. Abierto4.6 post-training
OpenEuroLLM/Taskboard#435 · 3 asignados ·
Todos los issues de OpenEuroLLM/Taskboard
Issues similares
-
Validate non-divisible effective batch sizes in the Unsloth LoRA backendPosiblemente ocupada @debesh-biswas la tomó hoy. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 70/100
-
01-palmyra-vision section 6 never sends an image through Converse, so the bedrock-runtime path has no vision examplePosiblemente ocupada @sample-per-model-bedrock-dev-agent la tomó hoy. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
aws-samples/sample-per-model-bedrock#437 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
security severity:high
Dificultad 2/5 1-3 horas Aptitud para principiantes 65/100
Los mantenedores suelen responder en 2 días
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
Los mantenedores suelen responder en 1 día
-
[BUG] Universal checkpoint resume puts CPU `step` into fused/capturable optimizer statePosiblemente ocupada Un pull request vinculado a esta issue está abierto o ya se fusionó. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 74/100
deepspeedai/DeepSpeed#8884 ·
Los mantenedores suelen responder en 3 días