apache/dolphinscheduler

[Improvement][Helm Chart] Support HDFS HA

Open

#16.390 aberto em 29 de jul. de 2024

Ver no GitHub
 (0 comments) (0 reactions) (0 assignees)Java (4.324 forks)batch import
help wantedimprovementkubernetes

Métricas do repositório

Stars
 (11.659 stars)
Métricas de merge de PR
 (Mesclagem média 1d 17h) (22 fundiu PRs em 30d)

Description

Search before asking

  • I had searched in the issues and found no similar feature requirement.

Description

The helm chart support HDFS HA.

Use case

Now, the config option has "resource.hdfs.fs.defaultFS". And the comment say "if resource.storage.type=HDFS and namenode HA is enabled, you need to copy core-site.xml and hdfs-site.xml to conf dir", but the template not use the "conf" dir or "config" dir. The pod only mount common.properties.

I want some ways to support HDFS enabled HA. Maybe some option for the xml files in common.properties, or some mount.

And, i m using HDFS deployed by stackable hdfs operator, the core-site.xml and hdfs-site.xml are ConfigMaps. Maybe some way can use this.

Related issues

No response

Are you willing to submit a PR?

  • Yes I am willing to submit a PR!

Code of Conduct

Guia do colaborador

Direção de pesquisa
Modifique o chart Helm para permitir a montagem de arquivos de configuração adicionais (core site.xml, hdfs site.xml) de ConfigMaps ou secrets. Atualize o template para referenciar esses arquivos e adicione uma opção em values.yaml para especificar os nomes dos ConfigMaps. Teste com um cluster HDFS HA real.
Pilha de tecnologia
javakubernetes
Domain
backendinfrastructuredevops
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-2 dias
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Recente
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
KubernetesHelmHDFS
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
60