Hacktoberfest 2026: những issue maintainer đã đánh dấu cho tháng Mười, đang mở và phù hợp người mới. Xem issue Hacktoberfest

[Tracking] datalake_fdw: Iceberg data path and the metadata agent

Đang mở
#2,008 0 bình luận 0 reaction 1 người được giao Xem trên GitHub

@MisterRaindrop đang làm issue này rồi.

Từ ngày 16/9/2026.

Đánh giá

Issue này chưa được đánh giá.

Mô tả

datalake

Everything between the DDL skeleton (#1842) and a lake table that can be written and read from SQL. Design: #1683. This issue is the execution view.

Landed: #1842, the skeleton (AM, catalog/volume FDWs, stub engine, DDL guards); #1951, the Parquet format layer (Arrow, field ids, tracked memory pool, type rules).

Twelve PRs, three waves
 wave 1                           wave 2                            wave 3
 A  S3 storage ────────────────────────────────────────┐
 B0 proto ─┬► B1 agent framework ─┬► B3 Iceberg ops ─► B4 Builtin ─┼► C write ─┬► E merge-on-read + DML
           └► B2 engine client ───┘        ├► B5 Polaris            ├► D read ──┘
                                           ├► B6 Hive Metastore
                                           └► B7 Hadoop

C and D need A, B2 and B4; with the Builtin catalog they run in CI against MinIO and the agent alone. B5–B7 need B3 and run alongside C and D.

  • A #2009 Storage I/O over object storage (S3) — first
  • B0 #2010 The gRPC contract: proto files
  • B1 #2011 datalake_agent: service framework (Java)
  • B2 #2012 datalake_fdw: the agent engine client
  • B3 #2013 datalake_agent: Iceberg operations by metadata location
  • B4 #2014 datalake_fdw: Builtin catalog
  • B5 #2015 datalake_agent: Polaris (REST) catalog
  • B6 #2016 datalake_agent: Hive Metastore catalog
  • B7 #2017 datalake_agent: Hadoop (filesystem) catalog
  • C #2018 Write path: INSERT to data files and a committed snapshot
  • D #2019 Read path: planned fragments, CustomScan, projection and pruning
  • E #2020 Merge-on-read and DML

Attached to the PR they belong with: #1988 NUMERIC (C), #1990 timestamp units (C), #1989 name mapping (D). Later, blocking nothing: the optional datalake_proxy bgworker (#1683 §5.4).

Rules
  • PRs target main and are squash-merged; the description is the commit message (#1951 layout).
  • Every PR leaves both components shippable: an unfinished path refuses with a clear error. The agent answers UNIMPLEMENTED for RPCs it does not carry yet, as the stub engine does.
  • The proto files and the shared headers (format/format.h, meta/iceberg_meta_engine.h, common/*.h) change only in their own small PR.
  • Nothing generated is committed; protoc runs at build time on both sides.
  • At most two PRs in review at once; the next stays a draft.
  • Each PR brings its tests: a smoke category on the C side, mvn -B verify on the Java side, a CI job for any service it needs.
  • Milestone datalake_fdw: Iceberg read/write MVP, label datalake.

Out of scope: the FDW raw-file path (#1683 §2.3), the CI build image (devops repo), HDFS storage, execution-engine work.

Ngôn ngữ chính
C
Star
1.4k
Fork
248
Merge trung bình
4 ngày 10 giờ
Pull request đã merge (30 ngày)
40

Hướng dẫn đóng góp

Mở hướng dẫn đóng góp

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của apache/cloudberry

Tất cả issue của apache/cloudberry

Issue tương tự

Thêm issue về C

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.