[Feature] Support s3.session-token for temporary credentials in the S3 filesystem plugin
Maintainer thường phản hồi trong vòng 1 ngày
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 2/5
- Thời gian dự kiến
- 1-3 giờ
- Mức phù hợp với người mới
- 84/100
- Loại issue
- Tính năng
- Độ rõ ràng
- Đặc tả rõ ràng
- Mức độ hoạt động
- Sôi nổi
- Công nghệ
- aws, hadoop, java
- Lĩnh vực
- backend, cloud, data-engineering
Hướng nghiên cứu
Bắt đầu từ S3FileIO và các mục MIRRORED_CONFIG_KEYS của nó cho access-key và secret-key, sau đó xem lại phần S3 trong docs/docs/maintenance/filesystems.mdx. Thêm mirror cho session-token nhất quán với các mục hiện có và ghi lại s3.session-token, đồng thời giữ nguyên thứ tự ưu tiên đã nêu khi cả hai dạng được thiết lập.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
[Feature] Support s3.session-token for temporary credentials in the S3 filesystem plugin
Search before asking
- I searched in the issues and found nothing similar.
Motivation
S3FileIO rewrites s3.* catalog options to fs.s3a.* and then mirrors the hyphenated access-key / secret-key options to the dotted keys S3A reads. The session token is not mirrored, so s3.session-token ends up as fs.s3a.session-token, which S3A (hadoop-aws 3.4.2) never reads. With temporary STS credentials passed as hyphenated catalog options in Flink, Spark or Hive, S3A signs without the token and requests fail with 403. The dotted form s3.session.token works today and is unaffected.
PyPaimon already accepts s3.session-token (#7712) and documents it in docs/docs/pypaimon/catalogs.mdx; the same options do not work for Java engines.
Solution
Add {"fs.s3a.session-token", "fs.s3a.session.token"} to MIRRORED_CONFIG_KEYS in S3FileIO, next to the access-key and secret-key entries, and mention s3.session-token in the S3 section of docs/docs/maintenance/filesystems.mdx. Precedence follows the existing mirrors: if both forms are set, the hyphenated one wins.
Anything else?
N/A
Are you willing to submit a PR?
- I'm willing to submit a PR!
- Ngôn ngữ chính
- Java
- Star
- 3.4k
- Fork
- 1.4k
- Merge trung bình
- 1 ngày 10 giờ
- Pull request đã merge (30 ngày)
- 472
Chuẩn bị môi trường
Chúng tôi chưa kiểm tra các tệp thiết lập môi trường của dự án này. Hãy bắt đầu từ README và xem hướng dẫn đóng góp lần đầu của chúng tôi để biết các bước chung.
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của apache/paimon
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 84/100
Maintainer thường phản hồi trong vòng 1 ngày
-
REST Catalog alterTable silently reports success when the server returns a non-table/column 404Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
Maintainer thường phản hồi trong vòng 1 ngày
Tất cả issue của apache/paimon
Issue tương tự
-
area/frontend good first issue kind/cooldown
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 84/100
beehive-lab/TornadoVM#1151 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 88/100
Maintainer thường phản hồi trong vòng 1 ngày
-
(cbor) `maxStringLength` not consistently checked for chunked (indefinite-length) text valuesĐang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 77/100
FasterXML/jackson-dataformats-binary#823 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 90/100
Maintainer thường phản hồi trong vòng 1 ngày