[Feature] Support s3.session-token for temporary credentials in the S3 filesystem plugin
维护者通常 1 天内回复
还没有人认领这个 Issue。
评估
- 难度
- 2/5
- 预计耗时
- 1-3 小时
- 新手友好度
- 84/100
- Issue 类型
- 功能
- 描述清晰度
- 描述清楚
- 活跃度
- 活跃
- 技术栈
- aws, hadoop, java
- 领域
- backend, cloud, data-engineering
调研方向
从 S3FileIO 及其针对 access-key 和 secret-key 的 MIRRORED_CONFIG_KEYS 条目开始，然后查看 docs/docs/maintenance/filesystems.mdx 中的 S3 部分。按照现有条目的方式一致地添加 session-token 镜像，并记录 s3.session-token；当两种形式都已设置时，保留所述的优先级。
由索引模型根据 Issue 内容生成。
描述
[Feature] Support s3.session-token for temporary credentials in the S3 filesystem plugin
Search before asking
- I searched in the issues and found nothing similar.
Motivation
S3FileIO rewrites s3.* catalog options to fs.s3a.* and then mirrors the hyphenated access-key / secret-key options to the dotted keys S3A reads. The session token is not mirrored, so s3.session-token ends up as fs.s3a.session-token, which S3A (hadoop-aws 3.4.2) never reads. With temporary STS credentials passed as hyphenated catalog options in Flink, Spark or Hive, S3A signs without the token and requests fail with 403. The dotted form s3.session.token works today and is unaffected.
PyPaimon already accepts s3.session-token (#7712) and documents it in docs/docs/pypaimon/catalogs.mdx; the same options do not work for Java engines.
Solution
Add {"fs.s3a.session-token", "fs.s3a.session.token"} to MIRRORED_CONFIG_KEYS in S3FileIO, next to the access-key and secret-key entries, and mention s3.session-token in the S3 section of docs/docs/maintenance/filesystems.mdx. Precedence follows the existing mirrors: if both forms are set, the hyphenated one wins.
Anything else?
N/A
Are you willing to submit a PR?
- I'm willing to submit a PR!
- 主要语言
- Java
- 星标
- 3.4k
- 派生
- 1.4k
- 平均合并
- 1 天 11 小时
- 30 天内合并 PR
- 502
环境准备
我们还没有检查这个项目的环境配置文件。先看它的 README，通用步骤见我们的新手贡献指南。
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
apache/paimon 的其他 Issue
-
难度 2/5 1-3 小时 新手友好度 84/100
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 72/100
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 78/100
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 78/100
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 78/100
维护者通常 1 天内回复
相似的 Issue
-
P2 testing
难度 1/5 1 小时以内 新手友好度 90/100
维护者通常 1 天内回复
-
area/core kind/bug status/triage team/core-shared
难度 2/5 1-3 小时 新手友好度 82/100
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 88/100
checkstyle/checkstyle#21755 · 1 条评论 ·
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 78/100
spring-projects/spring-integration#11495 ·
维护者通常 2 天内回复
-
Issue: Bug
难度 2/5 1-3 小时 新手友好度 88/100
OpenAPITools/openapi-generator#25021 ·
维护者通常 1 天内回复