Hacktoberfest 2026: los issues que los mantenedores marcaron para octubre, abiertos y aptos para principiantes. Explorar issues de Hacktoberfest

Fault tolerance intra-job training

Abierto
  • ¿Algo no está bien?
#343 6 comentarios 0 reacciones 1 asignado Ver en GitHub

@kpoeppel ya está trabajando en esto.

Desde el 7/7/2026.

Evaluación

Este issue todavía no se ha evaluado.

Descripción

T4.1 - Optimization HPC T4.4 - model training

Fault tolerance intra-job training

During large-scale pretraining on a Slurm cluster, node failures (GPU errors, NVLink/network faults, ECC errors, etc.) are common and grow more frequent with node count and job duration, especially at node counts of 256-1024 which is our target. By default, a single node failure kills the whole job, which then has to requeue and restart from the last checkpoint which costs time. Instead, we want to allocate a small number of spare nodes alongside the training job (e.g. 2 spares). When a node fails, the job swaps in a spare and continues within the same Slurm allocation, avoiding a full requeue and minimizing lost progress. This thus works with a static world size.

Inspiration from Bloom: https://github.com/stas00/ml-engineering/tree/master/training/fault-tolerance#fault-tolerance

Tasks

  • Survey existing solutions and assess fit for our stack (Megatron-LM, torchrun elastic launcher, shared sudoless HPC, Slurm). Start with NVIDIA Resiliency Extension (NVRx): https://github.com/NVIDIA/nvidia-resiliency-ext
  • Check what Megatron-LM already supports natively (it integrates parts of NVRx / fault tolerance hooks)
  • Evaluate torchrun elastic + rendezvous backend (e.g. c10d/etcd) for node replacement
    Note any requirements that conflict with a sudoless / shared HPC environment
  • Design the spare-node mechanism: how spares are allocated in the Slurm job, held idle, and promoted on failure
  • Implement the feature in the oellm-autoexp codebase
  • Test at small scale and simulate a node failure (e.g. scancel a node, kill a process, or inject a fault) to verify recovery
  • Measure recovery cost: wall-clock time to detect + swap + resume, and steps lost per failure
  • Document usage (how many spares to request, config flags) for other users of the codebase
Lenguaje dominante
Sin datos de lenguaje
Estrellas
3
Forks
0
Sin PR fusionados en 30 d

Preparar el entorno

Este proyecto no incluye contenedor de desarrollo, Dockerfile ni guía de contribución, así que la configuración corre por tu cuenta: empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de OpenEuroLLM/Taskboard

Todos los issues de OpenEuroLLM/Taskboard

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.