salesforce/TransmogrifAI

Factor out all common spark/hadoop properties

Ouverte

#87 ouverte le 24 août 2018

Voir sur GitHubGuide contributeur
 (8 commentaires) (0 réaction) (0 personne assignée)Scala (399 forks)batch import
good first issue

Métriques du dépôt

Stars
 (2 274 étoiles)
Métriques de merge PR
 (Aucune PR mergée en 30 j)

Description

Problem We currently largely overlapping spark.gradle files especially in terms of spark properties.

$ git ls-files | grep spark.gradle
gradle/spark.gradle
helloworld/gradle/spark.gradle
templates/simple/spark.gradle

Solution Provide a way to have a single spark.gradle or at least a single spark-transmogrifai.conf file with common properties that is passed via --properties-file to Spark.

Alternatives

  • common properties file
  • refactored spark.gradle

Additional context DRY

Guide contributeur

Direction de recherche
Extrayez les proprietes communes Spark et Hadoop des trois fichiers spark.gradle dans un seul fichier partage. Envisagez d'utiliser un fichier de configuration Spark (par exemple, spark transmogrifai.conf) passe via properties file. Assurez vous que le refactoring ne casse pas les builds existants.
Stack technique
scala
Domaine
backend
Type d'issue
Refactorisation
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
2
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
Une demi journée
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
ScalaGradleApache Spark
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
65