apache/kyuubi

[Umbrella] Spark Configuration Validation

Open

#832 aperta il 19 lug 2021

Vedi su GitHub
 (1 commento) (1 reazione) (0 assegnatari)Scala (996 fork)batch import
good first issuehelp wantedkind:feature

Metriche repository

Star
 (2332 star)
Metriche merge PR
 (Nessuna PR mergiata in 30 g)

Descrizione

Describe the proposal

When a SparkConf is invalid for launching our engines, it is better to fail fast instead of waiting for Spark to check while engine bootstrapping.

Motivation

  1. Save time to create an invalid engine
  2. Avoid possible hang
  3. better error message

Here is an example I did for Spark to validate its own configs when talking to Kubernetes. https://github.com/apache/spark/pull/32610

Task list

Generally speaking, we can have 1) a tool in kyuubi-ctl to check server/engine conf in configuration files are valid, 2) The logic of the tool can also be called when engine bootstrapping for the configurations from the client side

  • #833
  • #1018

Guida contributor

Direzione di ricerca
Studia la PR di validazione delle configurazioni di Spark esistente collegata nell'issue, comprendi come Kyuubi gestisce attualmente le configurazioni di Spark e identifica quali configurazioni necessitano di validazione anticipata.
Tech stack
scala
Dominio
backendinfrastructure
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
ScalaSpark
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
50