datalake_agent: Hadoop (filesystem) catalog

オープン

#2,017 2026年9月16日に作成コメント 0 件リアクション 0 件担当者 0 名 GitHub で見る

まだ誰も着手していません。

評価

難易度: 4/5
見積もり時間: 3〜5日
初心者へのやさしさ: 52/100

issue の種類: 機能追加
明瞭さ: おおむね明確
活発さ: 活発
技術スタック: hadoop, spark
領域: data-engineering, databases, distributed-systems

調査の方向性

Start with dependency B3 and the existing hadoop server-type whitelist route, then trace the volume warehouse path, version-hint handling, namespaces, and FileIO. Run the conformance suite on local FS and MinIO, verify Spark opens the same warehouse path, and add the concurrent-commit test whose outcome documents the S3 limitation.

索引モデルが issue の本文から書いたものです。

説明

datalake

Part of #2008. Letters (A, B0–B7, C, D, E) are the PRs listed there; this is B7.

Scope

HadoopCatalog over the volume's warehouse path (version-hint.text per table), FileIO from the volume; namespaces are directories. The hadoop server type already in the whitelist routes here.
Documented limit: commits rely on an atomic rename, which object stores lack, so concurrent writers to one table are unsafe on S3. Documentation only, no warning at CREATE SERVER.
End-to-end on local FS and on MinIO, including a test that shows what two concurrent commits do on each.

Out of scope

HDFS as storage (follow-up of A).

Depends on

B3.

Acceptance

Conformance suite green on local FS and MinIO; Spark opens the same warehouse path.
The S3 concurrent-commit behaviour is documented from the test's outcome.

主要言語: C
スター: 1.4k
フォーク: 248
平均マージ: 4日 10時間
マージ済み PR（30日）: 40

コントリビューションガイド

コントリビューションガイドを開く

はじめの一歩

issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
リポジトリをフォークし、ブランチを切って変更します。
issue 番号を参照したプルリクエストを送ります。

apache/cloudberry のほかの issue

[Bug] Expand fails to recognize user-defined tablespaces オープン

type: Bug

難易度 2/5 1〜3時間初心者へのやさしさ 76/100

apache/cloudberry#1885 · リアクション 2 件 · 2026年8月5日に作成
gpexpand first stage fails: 'SyncPackages' object has no attribute 'ret' (extension sync never runs; regression) オープン

難易度 2/5 1〜3時間初心者へのやさしさ 86/100

apache/cloudberry#1825 · 2026年6月18日に作成
[Bug] UPDATE of the distribution key fails with "can't split update for inherit table" after the child table is dropped オープン

type: Bug

難易度 3/5 1〜2日初心者へのやさしさ 65/100

apache/cloudberry#2048 · リアクション 1 件 · 2026年9月23日に作成
[Bug] Wrong results: GPORCA evaluates a window function in a correlated aggregate subquery over all groups オープン

type: Bug

難易度 4/5 3〜5日初心者へのやさしさ 40/100

apache/cloudberry#2047 · 2026年9月23日に作成
[Bug] Wrong results: GPORCA returns NULL instead of the empty-input value for correlated aggregate subqueries other than count オープン

type: Bug

難易度 4/5 3〜5日初心者へのやさしさ 45/100

apache/cloudberry#2046 · コメント 1 件 · 2026年9月23日に作成

apache/cloudberry の issue をすべて見る

似ている issue

Remove `--disable-sandbox` workaround from the CodeQL workflow オープン

task

難易度 2/5 1〜3時間初心者へのやさしさ 70/100

vsanthanam/JBird#429 · 2026年9月24日に作成
deprecate (and remove) qasm3.load_experimental オープン

難易度 2/5 1〜3時間初心者へのやさしさ 70/100

Qiskit/qiskit#17045 · 2026年9月24日に作成
cleanup: small correctness and doc nits found during #152 オープン

bug documentation

難易度 2/5 1〜3時間初心者へのやさしさ 75/100

es-ude/OnDeviceTraining#459 · 2026年9月24日に作成
Extend unnecessary_null_check to g_object_unref オープン

難易度 2/5 1〜3時間初心者へのやさしさ 65/100

bilelmoussaoui/gobject-linter#199 · コメント 1 件 · 2026年9月24日に作成
plum build . without -o names the binary "." and fails to link オープン

bug

難易度 2/5 1〜3時間初心者へのやさしさ 75/100

bradcypert/plum#53 · 2026年9月24日に作成

C の issue をもっと見る