apache/beam

Python HDFS: add Kerberos authentication support

開放

#20,719 建立於 2022年6月4日

在 GitHub 查看貢獻者指南
 (4 則留言) (0 個反應) (1 位負責人)Java (4,097 個分叉)batch import
P3good first issuehadoopimprovementiopython

倉庫指標

星標
 (7,313 顆星)
PR 合併指標
 (PR 指標待抓取)

描述

The HDFS client used by Beam supports Kerberos.

Initial idea: add a flag --hdfs_client that defaults to "INSECURE" and also accepts "KERBEROS". This flag will control initialization of self._hdfs_client.

HDFS client docs: https://hdfscli.readthedocs.io/en/latest/api.html#module-hdfs.ext.kerberos

The HDFS client seems to use this Kerberos library: https://pypi.org/project/requests-kerberos/

Imported from Jira BEAM-11750. Original Jira may contain additional context. Reported by: udim.

貢獻者指南

研究方向
研究 Apache Beam Python SDK 中現有的 HDFS 客戶端實現，重點關注問題中引用的 `self. hdfs client` 的初始化。參考 hdfscli 文件中關於 Kerberos 擴展的部分以及 requests kerberos 庫。查看此問題下的 4 條評論，獲取來自指派人提供的任何額外上下文或方向。實現提議的 ` hdfs client` 標誌並整合 Kerberos 認證支援。
技術棧
python
領域
backend
議題類型
功能
難度面向新貢獻者的預計實作難度，1 表示很小改動，5 表示專家級工作。
2
預計時間有經驗貢獻者完成調查、實作、測試並準備 pull request 的粗略時間範圍。
半天
活動狀態議題目前的可參與程度：新鮮、活躍、陳舊、阻塞或等待維護者輸入。
活躍
清晰度議題是否清楚說明預期改動、驗收標準和下一步。
清晰
前置要求
PythonHDFS
新手友善度1-100 的估計分數，表示該議題對首次貢獻者的友善程度。
65