salesforce/TransmogrifAI

Factor out all common spark/hadoop properties

Aperta

#87 aperta il 24 ago 2018

Vedi su GitHubGuida contributor
 (8 commenti) (0 reazioni) (0 assegnatari)Scala (399 fork)batch import
good first issue

Metriche repository

Star
 (2274 stelle)
Metriche merge PR
 (Nessuna PR mergiata in 30 g)

Descrizione

Problem We currently largely overlapping spark.gradle files especially in terms of spark properties.

$ git ls-files | grep spark.gradle
gradle/spark.gradle
helloworld/gradle/spark.gradle
templates/simple/spark.gradle

Solution Provide a way to have a single spark.gradle or at least a single spark-transmogrifai.conf file with common properties that is passed via --properties-file to Spark.

Alternatives

  • common properties file
  • refactored spark.gradle

Additional context DRY

Guida contributor

Direzione di ricerca
Estrai le proprietà comuni di Spark e Hadoop dai tre file spark.gradle in un unico file condiviso. Considera l'utilizzo di un file di configurazione Spark (es. spark transmogrifai.conf) passato tramite properties file. Assicurati che il refactoring non rompa le build esistenti.
Tech stack
scala
Dominio
backend
Tipo issue
Refactoring
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Mezza giornata
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
ScalaGradleApache Spark
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
65