apache/beam

Python HDFS: add Kerberos authentication support

Open

#20,719 创建于 2022年6月4日

在 GitHub 查看
 (4 评论) (0 反应) (1 负责人)Java (4,097 fork)batch import
P3good first issuehadoopimprovementiopython

仓库指标

Star
 (7,313 star)
PR 合并指标
 (平均合并 6天) (30 天内合并 243 个 PR)

描述

The HDFS client used by Beam supports Kerberos.

Initial idea: add a flag --hdfs_client that defaults to "INSECURE" and also accepts "KERBEROS". This flag will control initialization of self._hdfs_client.

HDFS client docs: https://hdfscli.readthedocs.io/en/latest/api.html#module-hdfs.ext.kerberos

The HDFS client seems to use this Kerberos library: https://pypi.org/project/requests-kerberos/

Imported from Jira BEAM-11750. Original Jira may contain additional context. Reported by: udim.

贡献者指南

研究方向
研究 Apache Beam Python SDK 中现有的 HDFS 客户端实现，重点关注问题中引用的 `self. hdfs client` 的初始化。参考 hdfscli 文档中关于 Kerberos 扩展的部分以及 requests kerberos 库。查看此问题下的 4 条评论，获取来自指派人提供的任何额外上下文或方向。实现提议的 ` hdfs client` 标志并集成 Kerberos 认证支持。
技术栈
python
领域
backend
议题类型
功能
难度面向新贡献者的预计实现难度，1 表示很小改动，5 表示专家级工作。
2
预计时间有经验贡献者完成调查、实现、测试并准备 pull request 的粗略时间范围。
半天
活动状态议题当前的可参与程度：新鲜、活跃、陈旧、阻塞或等待维护者输入。
活跃
清晰度议题是否清楚说明期望改动、验收标准和下一步。
清晰
前置要求
PythonHDFS
新手友好度1-100 的估计分数，表示该议题对首次贡献者的友好程度。
65