Convert Spark Dataframe to Dataset with MapStruct
Personne n'a encore pris cette issue.
Évaluation
- Difficulté
- 4/5
- Temps estimé
- 3-5 jours
- Accessibilité débutants
- 25/100
- Type d'issue
- Fonctionnalité
- Clarté
- Plutôt claire
- Activité
- À l'abandon
- Stack technique
- java, spark
- Domaine
- data-engineering
Piste de recherche
Commencez par examiner le dépôt mapstruct-examples et la question Stack Overflow associée afin de comprendre la conversion demandée de Spark DataFrame vers Dataset. Identifiez où un exemple Spark et Java pourrait s’intégrer, puis déterminez si MapStruct peut gérer des noms de colonnes de base de données et des types de champs de POJO différents. La tâche est terminée lorsqu’un exemple documenté et fonctionnel couvrant cette conversion est disponible.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Description
When using Apache Spark with Java there is a pretty common use case of converting Spark's Dataframes to POJO-based Datasets. The thing is that many times your Dataframe is imported from a database in which the column namings and types are different from your POJO.
Example for this can be found on the following Stackoverflow question (which has been solved programmatically with a map and rename functions). I was wondering if that example could be solved with MapStruct (and maybe would be added to this examples repo).
- Langage dominant
- Java
- Étoiles
- 1.4k
- Forks
- 504
- Métriques de merge des PR
- Aucune PR mergée en 30 j
Guide de contribution
Aucun guide de contribution indexé pour ce dépôt
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Autres issues de mapstruct/mapstruct-examples
-
Java 21 support Ouverte
Difficulté 4/5 3-5 jours Accessibilité débutants 35/100
mapstruct/mapstruct-examples#153 · 1 commentaire ·
-
Difficulté 4/5 3-5 jours Accessibilité débutants 25/100
mapstruct/mapstruct-examples#149 · 1 commentaire ·
-
mapstruct-protobuf3 use lombok:UnsupportedOperationException(Collections$UnmodifiableCollection) Ouverte
Difficulté 2/5 1-3 heures Accessibilité débutants 45/100
mapstruct/mapstruct-examples#142 ·
-
Difficulté 4/5 3-5 jours Accessibilité débutants 15/100
mapstruct/mapstruct-examples#138 ·
-
Difficulté 4/5 3-5 jours Accessibilité débutants 25/100
mapstruct/mapstruct-examples#127 ·
Toutes les issues de mapstruct/mapstruct-examples
Issues similaires
-
executions.Query — startDate and timeRange filters are sent with inverted comparison operators Ouvertearea/plugin
Difficulté 2/5 1-3 heures Accessibilité débutants 75/100
kestra-io/plugin-kestra#190 ·
-
litertlm-android AAR ships no consumer ProGuard rules → "mid == null" SIGABRT in minified apps Ouverte
Difficulté 2/5 1-3 heures Accessibilité débutants 70/100
google-ai-edge/LiteRT-LM#3739 ·
-
Add canonical URLs and a sitemap Ouverte
Difficulté 2/5 1-3 heures Accessibilité débutants 75/100
integra-team-red/meet-map#249 ·
-
[Studio][Bug] Cancelled create-user dialog keeps the password and admin switch for the next attempt Ouverte
Difficulté 2/5 1-3 heures Accessibilité débutants 75/100
apache/rocketmq-dashboard#5064 ·
-
Consent portal: creating a duplicate Purpose shows a generic error instead of "already exists" Ouverte
Difficulté 2/5 1-3 heures Accessibilité débutants 75/100
wso2/dpdp-accelerator#287 ·