apache/beam

Python HDFS: add Kerberos authentication support

Open

#20.719 geöffnet am 4. Juni 2022

Auf GitHub ansehen
 (4 Kommentare) (0 Reaktionen) (1 zugewiesene Person)Java (4.097 Forks)batch import
P3good first issuehadoopimprovementiopython

Repository-Metriken

Stars
 (7.313 Stars)
PR-Merge-Metriken
 (Durchschn. Merge 6T) (243 gemergte PRs in 30 T)

Beschreibung

The HDFS client used by Beam supports Kerberos.

Initial idea: add a flag --hdfs_client that defaults to "INSECURE" and also accepts "KERBEROS". This flag will control initialization of self._hdfs_client.

HDFS client docs: https://hdfscli.readthedocs.io/en/latest/api.html#module-hdfs.ext.kerberos

The HDFS client seems to use this Kerberos library: https://pypi.org/project/requests-kerberos/

Imported from Jira BEAM-11750. Original Jira may contain additional context. Reported by: udim.

Contributor Guide

Research-Richtung
Untersuchen Sie die bestehende HDFS Client Implementierung im Apache Beam Python SDK, mit Fokus auf die Initialisierung von `self. hdfs client`, auf die in der Issue verwiesen wird. Beziehen Sie sich auf die hdfscli Dokumentation für die Kerberos Erweiterung und die requests kerberos Bibliothek. Überprüfen Sie die 4 Kommentare zu dieser Issue auf zusätzlichen Kontext oder Anweisungen vom Zugewiesenen. Implementieren Sie das vorgeschlagene ` hdfs client` Flag und integrieren Sie die Kerberos Authentifizierungsunterstützung.
Tech Stack
python
Domain
backend
Issue Type
Funktion
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
2
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
Halber Tag
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
PythonHDFS
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
65