kubeflow/sdk

SparkConnect CR cleanup behavior on failure and SDK state mismatch

Aperta

#476 aperta il 30 apr 2026

Vedi su GitHubGuida contributor
 (6 commenti) (1 reazione) (1 assegnatario)Python (196 fork)auto 404
area/sparkgood first issuehelp wantedkind/bug

Metriche repository

Star
 (124 stelle)
Metriche merge PR
 (Metriche PR in attesa)

Descrizione

Summary

While working on port-forward cleanup in the SDK #460 , it surfaced that there may be a broader gap in how SparkConnect resources are handled on failure.

Observations

  • SparkConnect CR does not appear to clean up resources when connection/setup fails
  • This can leave resources running if failure happens mid-connection

There is a related issue in the Spark Operator: kubeflow/spark-operator#2927

Additional Observation

There also appears to be a mismatch in state mapping:

  • The SDK exposes a "Running" state
  • SparkConnect CR does not expose a corresponding state

Guida contributor

Direzione di ricerca
Esamina il ciclo di vita del SparkConnect CR e il codice di mappatura degli stati dell'SDK per identificare dove manca la pulizia in caso di fallimento e dove la mappatura degli stati è diversa.
Tech stack
pythonkubernetes
Dominio
backenddevops
Tipo issue
Bug
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Mezza giornata
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Abbastanza chiara
Prerequisiti
GitPython
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
60