apache/beam

Python HDFS: add Kerberos authentication support

Open

#20.719 aperta il 4 giu 2022

Vedi su GitHub
 (4 commenti) (0 reazioni) (1 assegnatario)Java (4097 fork)batch import
P3good first issuehadoopimprovementiopython

Metriche repository

Star
 (7313 star)
Metriche merge PR
 (Merge medio 6g) (243 PR mergiate in 30 g)

Descrizione

The HDFS client used by Beam supports Kerberos.

Initial idea: add a flag --hdfs_client that defaults to "INSECURE" and also accepts "KERBEROS". This flag will control initialization of self._hdfs_client.

HDFS client docs: https://hdfscli.readthedocs.io/en/latest/api.html#module-hdfs.ext.kerberos

The HDFS client seems to use this Kerberos library: https://pypi.org/project/requests-kerberos/

Imported from Jira BEAM-11750. Original Jira may contain additional context. Reported by: udim.

Guida contributor

Direzione di ricerca
Indaga l'implementazione esistente del client HDFS nell'SDK Python di Apache Beam, concentrandoti sull'inizializzazione di `self. hdfs client` a cui si fa riferimento nell'issue. Fai riferimento alla documentazione di hdfscli per l'estensione Kerberos e alla libreria requests kerberos. Controlla i 4 commenti su questo issue per eventuali contesti o indicazioni aggiuntive dall'assegnatario. Implementa il flag proposto ` hdfs client` e integra il supporto per l'autenticazione Kerberos.
Tech stack
python
Dominio
backend
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Mezza giornata
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
PythonHDFS
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
65