[Feature] Support s3.session-token for temporary credentials in the S3 filesystem plugin
Los mantenedores suelen responder en 1 día
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 2/5
- Tiempo estimado
- 1-3 horas
- Aptitud para principiantes
- 84/100
- Tipo de issue
- Nueva funcionalidad
- Claridad
- Bien especificado
- Estado de actividad
- Activo
- Stack tecnológico
- aws, hadoop, java
- Área
- backend, cloud, data-engineering
Línea de trabajo
Comienza por S3FileIO y sus entradas de MIRRORED_CONFIG_KEYS para access-key y secret-key; después, revisa la sección S3 en docs/docs/maintenance/filesystems.mdx. Añade el reflejo de session-token de forma coherente con las entradas existentes y documenta s3.session-token, preservando la precedencia indicada cuando ambas formas estén definidas.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
[Feature] Support s3.session-token for temporary credentials in the S3 filesystem plugin
Search before asking
- I searched in the issues and found nothing similar.
Motivation
S3FileIO rewrites s3.* catalog options to fs.s3a.* and then mirrors the hyphenated access-key / secret-key options to the dotted keys S3A reads. The session token is not mirrored, so s3.session-token ends up as fs.s3a.session-token, which S3A (hadoop-aws 3.4.2) never reads. With temporary STS credentials passed as hyphenated catalog options in Flink, Spark or Hive, S3A signs without the token and requests fail with 403. The dotted form s3.session.token works today and is unaffected.
PyPaimon already accepts s3.session-token (#7712) and documents it in docs/docs/pypaimon/catalogs.mdx; the same options do not work for Java engines.
Solution
Add {"fs.s3a.session-token", "fs.s3a.session.token"} to MIRRORED_CONFIG_KEYS in S3FileIO, next to the access-key and secret-key entries, and mention s3.session-token in the S3 section of docs/docs/maintenance/filesystems.mdx. Precedence follows the existing mirrors: if both forms are set, the hyphenated one wins.
Anything else?
N/A
Are you willing to submit a PR?
- I'm willing to submit a PR!
- Lenguaje dominante
- Java
- Estrellas
- 3.4k
- Forks
- 1.4k
- Merge medio
- 1 d 11 h
- PR fusionados (30 d)
- 502
Preparar el entorno
Aún no hemos revisado los archivos de configuración de este proyecto. Empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de apache/paimon
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 84/100
Los mantenedores suelen responder en 1 día
-
REST Catalog alterTable silently reports success when the server returns a non-table/column 404Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
Los mantenedores suelen responder en 1 día
-
[Bug] AppendTableITCase.testCompactionInStreamingMode is flaky and can time out under CI loadAbierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
Los mantenedores suelen responder en 1 día
Todos los issues de apache/paimon
Issues similares
-
ScyllaDB Manual: 3 broken linksAbiertolink-check link-check:manual
Dificultad 2/5 1-3 horas Aptitud para principiantes 85/100
-
Dificultad 1/5 Menos de una hora Aptitud para principiantes 91/100
open-telemetry/opentelemetry-java#8870 ·
Los mantenedores suelen responder en 1 día
-
P2 testing
Dificultad 1/5 Menos de una hora Aptitud para principiantes 90/100
Los mantenedores suelen responder en 1 día
-
enhancement javascript
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
Los mantenedores suelen responder en 1 día
-
area/core kind/bug status/triage team/core-shared
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
Los mantenedores suelen responder en 1 día