kubeflow/sdk

Refactor Spark options API to clearly distinguish SparkApplication and SparkConnect options

Ouverte

#720 ouverte le 4 août 2026

Voir sur GitHubGuide contributeur
 (7 commentaires) (0 réaction) (1 personne assignée)Python (196 forks)auto 404
area/sparkgood first issuehelp wantedkind/feature

Métriques du dépôt

Stars
 (124 étoiles)
Métriques de merge PR
 (Métriques PR en attente)

Description

Summary

The current Spark options API exposes options through a common entry point even though some options are only applicable to SparkConnect (for example PodTemplateOverride). This can make it difficult for users to determine which options are supported by submit_job() versus connect().

Refactor the options API and documentation to provide a clearer, more consistent experience while preserving existing functionality.

Ref - https://github.com/kubeflow/sdk/pull/685#pullrequestreview-4859037596

Guide contributeur

Direction de recherche
Examinez l'API d'options actuelle dans le dépôt kubeflow/sdk pour voir comment les options SparkApplication et SparkConnect sont exposées. Identifiez les options qui appartiennent à chacune, passez en revue les tests et la documentation existants, et planifiez un refactor qui les sépare tout en maintenant la compatibilité ascendante.
Stack technique
kubernetespythonspark
Domaine
backendapi
Type d'issue
Refactorisation
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-2 jours
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Plutôt claire
Prérequis
GitPython
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
65