aws/aws-sdk-pandas

Wrangler to support Hudi/Iceberg datasets read/write

Open

#1 470 ouverte le 22 juil. 2022

Voir sur GitHub
 (8 commentaires) (11 réactions) (0 assignés)Python (3 560 stars) (630 forks)batch import
backlogenhancementhelp wanted

Description

Is your idea related to a problem? Please describe. No

Describe the solution you'd like It would be good to have support for CDC data lake formats like Apache Hudi, Apache Iceberg or Detla Lake format.

P.S. Please do not attach files as it's considered a security risk. Add code snippets directly in the message body as much as possible.

Guide contributeur

Stack technique
pythonspark
Domaine
databackend
Type d'issue
feature
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
5
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
over 1 week
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
stale
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
mostly clear
Prérequis
PythonAWS Glue/Athena conceptsApache Hudi/Iceberg basics
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
10
Direction de recherche
Investigate existing data source implementations in the repository (e.g., S3, Parquet readers) under the `awswrangler` directory. Review the AWS Glue and Athena documentation for native support of Hudi/Iceberg. Examine the closed PRs and discussions for prior attempts. The issue has 8 comments; review them for specific requirements and constraints. Consider starting with a minimal read only implementation to gauge complexity.