[CELEBORN] FailedShuffleCleaner instance is never returned to CelebornShuffleManager, leaking its ScheduledExecutorService on stop()

Aperta
#13,279 1 commento 0 reazioni 0 assegnatari Vedi su GitHub

I maintainer di solito rispondono entro 3 giorni

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
3/5
Tempo stimato
Mezza giornata
Idoneità per principianti
55/100
Tipo di issue
Bug
Chiarezza
Specificata chiaramente
Stato di attività
Attiva
Stack tecnologico
java, scala, spark

Direzione di ricerca

Start in CelebornUtils, where fetchCleanFailedShuffle and stageRerun take failedShuffleCleaner as a parameter and assign a new FailedShuffleCleaner to it, then check the call sites in CelebornShuffleManager, which holds the failedShuffleCleaner field and its stop() method. Done means the created cleaner is returned to the caller, stored in the manager's field, and shut down in stop(), with a test that confirms the field is non-null after a stage rerun and that the executor is released on stop.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

bug triage
Backend

VL (Velox)

Bug description

CelebornUtils.fetchCleanFailedShuffle(lifecycleManager, celebornConf, failedShuffleCleaner) and stageRerun(...) take failedShuffleCleaner as an output parameter and assign the newly created FailedShuffleCleaner instance to it.

Because Java is pass-by-value, reassigning a method parameter is not visible to the caller — CelebornShuffleManager.failedShuffleCleaner stays null forever.

org.apache.spark.shuffle.gluten.celeborn.CelebornShuffleManager

Image Image

becomes dead code. The cleaner's internal ScheduledExecutorService is never shut down, and keeps strong references to LifecycleManager and its pending shuffle-id collections, leaking both threads and objects. This accumulates across SparkContext lifecycles and is most visible on long-lived drivers (e.g., Spark Thrrift Server), where each restart leaves orphaned cleaner threads and repeated invalid clean log entries.

Expected behavior
stageRerun/fetchCleanFailedShuffle should return the created instance so the caller can store it and stop() can release it.

Gluten version

No response

Spark version

None

Spark configurations

No response

System information

No response

Relevant logs

Lingua principale
Scala
Stelle
1.6k
Fork
685
Merge medio
4g 16h
PR unite (30g)
84

Preparare l'ambiente

Apri in Codespaces

Avvia il container di sviluppo del progetto nel browser, con il tuo account GitHub.

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di apache/gluten

Tutte le issue di apache/gluten

Issue simili

Altre issue su Scala

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.