Hacktoberfest 2026: những issue maintainer đã đánh dấu cho tháng Mười, đang mở và phù hợp người mới. Xem issue Hacktoberfest

[Bug] Hudi writer does not inherit Hadoop configuration

Đang mở
  • Có gì không ổn?
#4,585 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 2 ngày

@Gezi-lzq đang làm issue này rồi.

Từ ngày 10/10/2026.

  • #4584 của @Gezi-lzq — đang mở

Đánh giá

Độ khó
3/5
Thời gian dự kiến
1-2 ngày
Mức phù hợp với người mới
25/100
Loại issue
Lỗi
Độ rõ ràng
Đặc tả rõ ràng
Mức độ hoạt động
Đình trệ
Công nghệ
java
Lĩnh vực
cloud, data-engineering

Hướng nghiên cứu

Start where the Hudi tiering code creates HoodieFlinkWriteClient with HoodieFlinkEngineContext.DEFAULT, and compare it with how HadoopConfigurations.getHadoopConf(flinkConfig) builds the Hadoop settings from the catalog. Pull request #4584 is already open against this issue, so review that work before starting. Done means the write client's engine context carries the S3 settings, with regression tests covering both the COW and MOR paths.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

Search before asking
  • I searched in the issues and found nothing similar.
Fluss version

main (development)

Please describe the bug 🐞

When Hudi tiering creates its HoodieFlinkWriteClient, it uses HoodieFlinkEngineContext.DEFAULT. The default context does not contain the Hadoop configuration assembled from the Hudi catalog configuration.

As a result, filesystem settings such as fs.s3a.endpoint, fs.s3a.access.key, and fs.s3a.secret.key are missing from the write client. Tiering to S3-compatible storage can then fail with authentication errors even though the properties are configured for the Hudi catalog.

This can be reproduced by configuring a Hudi lake catalog against S3-compatible storage and writing either a COW/log table or a MOR/primary-key table. Fluss accepts the records, but Hudi fails when accessing the remote filesystem without the configured credentials.

Expected behavior: the Hudi write client's engine context inherits the Hadoop configuration derived from the table/catalog configuration.

Solution

Construct HoodieFlinkEngineContext with HadoopConfigurations.getHadoopConf(flinkConfig) and use it to create the Hudi write client. Add regression coverage for both COW and MOR paths.

Are you willing to submit a PR?
  • I'm willing to submit a PR!
Ngôn ngữ chính
Java
Star
2.2k
Fork
658
Merge trung bình
3 ngày 4 giờ
Pull request đã merge (30 ngày)
113

Chuẩn bị môi trường

  • Không có Dockerfile hay tệp Docker Compose
  • Có mẫu pull request
  • Không có hướng dẫn đóng góp

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của apache/fluss

Tất cả issue của apache/fluss

Issue tương tự

Thêm issue về Java

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.