apache/beam

Python HDFS: add Kerberos authentication support

Open

#20 719 ouverte le 4 juin 2022

Voir sur GitHub
 (4 commentaires) (0 réactions) (1 assigné)Java (4 097 forks)batch import
P3good first issuehadoopimprovementiopython

Métriques du dépôt

Stars
 (7 313 stars)
Métriques de merge PR
 (Merge moyen 6j) (243 PRs mergées en 30 j)

Description

The HDFS client used by Beam supports Kerberos.

Initial idea: add a flag --hdfs_client that defaults to "INSECURE" and also accepts "KERBEROS". This flag will control initialization of self._hdfs_client.

HDFS client docs: https://hdfscli.readthedocs.io/en/latest/api.html#module-hdfs.ext.kerberos

The HDFS client seems to use this Kerberos library: https://pypi.org/project/requests-kerberos/

Imported from Jira BEAM-11750. Original Jira may contain additional context. Reported by: udim.

Guide contributeur

Direction de recherche
Étudiez l'implémentation existante du client HDFS dans le SDK Python d'Apache Beam, en vous concentrant sur l'initialisation de `self. hdfs client` référencée dans l'issue. Reportez vous à la documentation de hdfscli pour l'extension Kerberos et à la bibliothèque requests kerberos. Vérifiez les 4 commentaires sur cette issue pour tout contexte ou direction supplémentaire de la part de l'assigné. Implémentez le drapeau proposé ` hdfs client` et intégrez la prise en charge de l'authentification Kerberos.
Stack technique
python
Domaine
backend
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
2
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
Une demi journée
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
PythonHDFS
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
65