salesforce/TransmogrifAI

Factor out all common spark/hadoop properties

Aberta

#87 aberto em 24 de ago. de 2018

Ver no GitHubGuia do colaborador
 (8 comentários) (0 reação) (0 responsável)Scala (399 forks)batch import
good first issue

Métricas do repositório

Stars
 (2.274 estrelas)
Métricas de merge de PR
 (Nenhuma PRs mesclada em 30d)

Description

Problem We currently largely overlapping spark.gradle files especially in terms of spark properties.

$ git ls-files | grep spark.gradle
gradle/spark.gradle
helloworld/gradle/spark.gradle
templates/simple/spark.gradle

Solution Provide a way to have a single spark.gradle or at least a single spark-transmogrifai.conf file with common properties that is passed via --properties-file to Spark.

Alternatives

  • common properties file
  • refactored spark.gradle

Additional context DRY

Guia do colaborador

Direção de pesquisa
Extraia as propriedades comuns do Spark e Hadoop dos três arquivos spark.gradle para um único arquivo compartilhado. Considere usar um arquivo de configuração do Spark (por exemplo, spark transmogrifai.conf) passado via properties file. Certifique se de que a refatoração não quebre as builds existentes.
Pilha de tecnologia
scala
Domain
backend
Tipo Issue
Refatoração
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
2
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
Meio dia
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
ScalaGradleApache Spark
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
65