kubeflow/trainer

Enhanced MPI Support in TrainJob

Chiusa

#2751 aperta il 24 lug 2025

Vedi su GitHubGuida contributor
 (26 commenti) (3 reazioni) (0 assegnatari)Go (964 fork)github user discovery
area/controllerarea/mpiarea/runtimesgood first issuehelp wantedkind/feature

Metriche repository

Star
 (2112 stelle)
Metriche merge PR
 (Metriche PR in attesa)

Descrizione

What you would like to be added?

We plan to enhance MPI support in TrainJob in these areas:

  • SSH-based node communication
  • Add resource per node support
  • Address the failing launcher issue in the initialization phase (launcher fails until the MPI worker is ready)

Why is this needed?

As we discussed in the WG call yesterday, this will be included in Kubeflow Trainer ROADMAP 2025.

/cc @kubeflow/wg-training-leads @astefanutti @franciscojavierarceo @kramaranya @rudeigerc @mahdikhashan @Doris-xm @Harshal292004 @saileshd1402 @kannon92 @deepanker13

Love this feature?

Give it a 👍 We prioritize the features with most 👍

Guida contributor

Direzione di ricerca
Investiga il problema del launcher che fallisce nella fase di inizializzazione e comprendi la sequenza di avvio dei worker MPI.
Tech stack
gokubernetes
Dominio
machine learninginfrastructurebackend
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Mezza giornata
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Abbastanza chiara
Prerequisiti
GoKubernetes
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
50