datalake_agent: Hadoop (filesystem) catalog
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức phù hợp với người mới
- 52/100
- Loại issue
- Tính năng
- Độ rõ ràng
- Khá rõ ràng
- Mức độ hoạt động
- Sôi nổi
- Công nghệ
- hadoop, spark
- Lĩnh vực
- data-engineering, databases, distributed-systems
Hướng nghiên cứu
Start with dependency B3 and the existing hadoop server-type whitelist route, then trace the volume warehouse path, version-hint handling, namespaces, and FileIO. Run the conformance suite on local FS and MinIO, verify Spark opens the same warehouse path, and add the concurrent-commit test whose outcome documents the S3 limitation.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
Part of #2008. Letters (A, B0–B7, C, D, E) are the PRs listed there; this is B7.
Scope
HadoopCatalogover the volume's warehouse path (version-hint.textper table), FileIO from the volume; namespaces are directories. Thehadoopserver type already in the whitelist routes here.- Documented limit: commits rely on an atomic rename, which object stores lack, so concurrent writers to one table are unsafe on S3. Documentation only, no warning at
CREATE SERVER. - End-to-end on local FS and on MinIO, including a test that shows what two concurrent commits do on each.
Out of scope
HDFS as storage (follow-up of A).
Depends on
B3.
Acceptance
- Conformance suite green on local FS and MinIO; Spark opens the same warehouse path.
- The S3 concurrent-commit behaviour is documented from the test's outcome.
- Ngôn ngữ chính
- C
- Star
- 1.4k
- Fork
- 248
- Merge trung bình
- 4 ngày 10 giờ
- Pull request đã merge (30 ngày)
- 40
Hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của apache/cloudberry
-
type: Bug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 76/100
apache/cloudberry#1885 · 2 reaction ·
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 86/100
apache/cloudberry#1825 ·
-
type: Bug
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 65/100
apache/cloudberry#2048 · 1 reaction ·
-
type: Bug
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 40/100
apache/cloudberry#2047 ·
-
type: Bug
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 45/100
apache/cloudberry#2046 · 1 bình luận ·
Tất cả issue của apache/cloudberry
Issue tương tự
-
bug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100
bradcypert/plum#53 ·
-
Component: GLib
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 70/100
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100
-
Status: Opened
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 70/100
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100
nextbsd/nextbsd-userland#285 ·