kubeflow/sdk

Refactor Spark options API to clearly distinguish SparkApplication and SparkConnect options

Aberta

#720 aberto em 4 de ago. de 2026

Ver no GitHubGuia do colaborador
 (7 comentários) (0 reação) (1 responsável)Python (196 forks)auto 404
area/sparkgood first issuehelp wantedkind/feature

Métricas do repositório

Stars
 (124 estrelas)
Métricas de merge de PR
 (Métricas PR pendentes)

Description

Summary

The current Spark options API exposes options through a common entry point even though some options are only applicable to SparkConnect (for example PodTemplateOverride). This can make it difficult for users to determine which options are supported by submit_job() versus connect().

Refactor the options API and documentation to provide a clearer, more consistent experience while preserving existing functionality.

Ref - https://github.com/kubeflow/sdk/pull/685#pullrequestreview-4859037596

Guia do colaborador

Direção de pesquisa
Examine a API de opções atual no repositório kubeflow/sdk para ver como as opções SparkApplication e SparkConnect são expostas. Identifique quais opções pertencem a cada uma, revise os testes e a documentação existentes e planeje um refactor que as separe mantendo a compatibilidade reversa.
Pilha de tecnologia
kubernetespythonspark
Domain
backendapi
Tipo Issue
Refatoração
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-2 dias
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Principalmente claro
Prerequisites
GitPython
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
65