aws/aws-sdk-pandas

Wrangler to support Hudi/Iceberg datasets read/write

Ouverte

#1 470 ouverte le 22 juil. 2022

Voir sur GitHubGuide contributeur
 (8 commentaires) (11 réactions) (0 personne assignée)Python (630 forks)batch import
backlogenhancementhelp wanted

Métriques du dépôt

Stars
 (3 560 étoiles)
Métriques de merge PR
 (Merge moyen 6j 23h) (37 PRs mergées en 30 j)

Description

Is your idea related to a problem? Please describe. No

Describe the solution you'd like It would be good to have support for CDC data lake formats like Apache Hudi, Apache Iceberg or Detla Lake format.

P.S. Please do not attach files as it's considered a security risk. Add code snippets directly in the message body as much as possible.

Guide contributeur

Direction de recherche
Étudiez les implémentations de sources de données existantes (par exemple, S3, Parquet) dans la base de code aws sdk pandas. Comprenez les interfaces de lecture/écriture. Recherchez les API Apache Hudi et Iceberg et les bibliothèques Python (pyhudi, pyiceberg). Concevez un modèle de plugin ou d'extension pour prendre en charge ces formats tout en maintenant la compatibilité avec les opérations DataFrame actuelles.
Stack technique
python
Domaine
backenddata engineering
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
4
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
Plus d'une semaine
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
PythonGit
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
30