Support reading HDFS files with Kerberos authentication
まだ誰も着手していません。
評価
- 難易度
- 5/5
- 見積もり時間
- 1週間以上
- 初心者へのやさしさ
- 38/100
- issue の種類
- 機能追加
- 明瞭さ
- おおむね明確
- 活発さ
- 静か
- 技術スタック
- hadoop
調査の方向性
まず、graphscope.session() が既存の非セキュアな HDFS 入出力をどのように設定しているかを追跡し、次に Engine pod がストレージ設定をどのように受け取るかを調査します。すべての pod に対して keytab、principal、オプションの krb5.conf をどのように提供し、認証するかを定義します。既存のローカル、オブジェクトストレージ、非セキュアな HDFS へのアクセスと並行して、Kerberized HDFS の読み取りと書き込みが機能すれば完了です。
索引モデルが issue の本文から書いたものです。
説明
Currently, GraphScope supports reading graph data from local files, object storage, and non-secure HDFS. However, many production Hadoop clusters require Kerberos authentication for security compliance.
When attempting to load graph data from a Kerberized HDFS (e.g., hdfs://namenode:8020/path/to/data), there is no built-in mechanism to provide Kerberos credentials (keytab, principal, krb5.conf), making it impossible to access such data sources directly.
I would like GraphScope to support reading graph data from HDFS clusters with Kerberos authentication enabled. The expected solution could include:
-
Configuration parameters in
graphscope.session()to specify Kerberos settings, e.g.:sess = graphscope.session( hdfs_kerberos_enabled=True, hdfs_kerberos_principal="user/host@REALM", hdfs_kerberos_keytab="/path/to/keytab", hdfs_krb5_conf="/etc/krb5.conf" # optional ) -
Automatic authentication before accessing HDFS files, ensuring all Engine pods can authenticate to the NameNode and DataNodes.
-
Support for both HDFS input (loading graph data) and HDFS output (storing results).
- 主要言語
- C++
- スター
- 3.6k
- フォーク
- 470
- PR マージ指標
- 30日以内にマージされた PR はありません
環境構築
このプロジェクトの開発コンテナを、あなたの GitHub アカウントでブラウザ上に起動します。
- Dockerfile・Docker Compose ファイルなし
- プルリクエストのテンプレートあり
- コントリビューションガイドを読む
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
alibaba/GraphScope のほかの issue
-
[BUG] Failed archive extraction deletes the dataset cache対応中かも @dajiaohuang が 1 日前に担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
alibaba/GraphScope#4674 ·
-
stale
難易度 5/5 1週間以上 初心者へのやさしさ 25/100
alibaba/GraphScope#4655 · コメント 2 件 ·
-
stale
難易度 4/5 3〜5日 初心者へのやさしさ 45/100
alibaba/GraphScope#4647 · コメント 3 件 ·
-
stale
難易度 4/5 3〜5日 初心者へのやさしさ 30/100
alibaba/GraphScope#4639 · コメント 2 件 ·
-
stale
難易度 2/5 1〜3時間 初心者へのやさしさ 45/100
alibaba/GraphScope#4637 · コメント 1 件 ·
alibaba/GraphScope の issue をすべて見る
似ている issue
-
Remove source files from packaging for deb, zip, etc対応中かも このイシューにリンクされたプルリクエストがオープン中、またはマージ済みです。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 85/100
OpenSpace/OpenSpace#4353 · コメント 1 件 ·
メンテナーはふだん 5 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 86/100
justcallmekoko/ESP32Marauder#1656 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
-
Decompiler: convertCharRef() in xml.y overflows its int4 accumulator on long character references対応中かも @kaayzouee が今日担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100
NationalSecurityAgency/ghidra#10009 ·
メンテナーはふだん 2 日以内に返信