apache/kyuubi

[Umbrella] Spark Configuration Validation

Open

#832 geöffnet am 19. Juli 2021

Auf GitHub ansehen
 (1 Kommentar) (1 Reaktion) (0 zugewiesene Personen)Scala (996 Forks)batch import
good first issuehelp wantedkind:feature

Repository-Metriken

Stars
 (2.332 Stars)
PR-Merge-Metriken
 (Keine gemergten PRs in 30 T)

Beschreibung

Describe the proposal

When a SparkConf is invalid for launching our engines, it is better to fail fast instead of waiting for Spark to check while engine bootstrapping.

Motivation

  1. Save time to create an invalid engine
  2. Avoid possible hang
  3. better error message

Here is an example I did for Spark to validate its own configs when talking to Kubernetes. https://github.com/apache/spark/pull/32610

Task list

Generally speaking, we can have 1) a tool in kyuubi-ctl to check server/engine conf in configuration files are valid, 2) The logic of the tool can also be called when engine bootstrapping for the configurations from the client side

  • #833
  • #1018

Contributor Guide

Research-Richtung
Studiere den verknüpften vorhandenen Spark Konfigurationsvalidierungs PR in der Issue, verstehen Sie, wie Kyuubi derzeit Spark Konfigurationen behandelt, und identifizieren Sie, welche Konfigurationen eine frühzeitige Validierung benötigen.
Tech Stack
scala
Domain
backendinfrastructure
Issue Type
Funktion
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-2 Tage
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
ScalaSpark
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
50