kubeflow/sdk

Refactor Spark options API to clearly distinguish SparkApplication and SparkConnect options

Aperta

#720 aperta il 4 ago 2026

Vedi su GitHubGuida contributor
 (7 commenti) (0 reazioni) (1 assegnatario)Python (196 fork)auto 404
area/sparkgood first issuehelp wantedkind/feature

Metriche repository

Star
 (124 stelle)
Metriche merge PR
 (Metriche PR in attesa)

Descrizione

Summary

The current Spark options API exposes options through a common entry point even though some options are only applicable to SparkConnect (for example PodTemplateOverride). This can make it difficult for users to determine which options are supported by submit_job() versus connect().

Refactor the options API and documentation to provide a clearer, more consistent experience while preserving existing functionality.

Ref - https://github.com/kubeflow/sdk/pull/685#pullrequestreview-4859037596

Guida contributor

Direzione di ricerca
Esamina l'attuale API delle opzioni nel repository kubeflow/sdk per vedere come vengono esposte le opzioni SparkApplication e SparkConnect. Identifica quali opzioni appartengono a ciascuna, rivedi i test e la documentazione esistenti e pianifica un refactor che le separi mantenendo la compatibilità con le versioni precedenti.
Tech stack
kubernetespythonspark
Dominio
backendapi
Tipo issue
Refactoring
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Abbastanza chiara
Prerequisiti
GitPython
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
65