Convert Spark Dataframe to Dataset with MapStruct
Ninguém assumiu esta issue ainda.
Avaliação
- Dificuldade
- 4/5
- Tempo estimado
- 3-5 dias
- Facilidade para iniciantes
- 25/100
- Tipo de issue
- Funcionalidade
- Clareza
- Razoavelmente clara
- Status de atividade
- Estagnada
- Stack de tecnologia
- java, spark
- Domínio
- data-engineering
Direção de pesquisa
Comece revisando o repositório mapstruct-examples e a pergunta vinculada no Stack Overflow para entender a conversão solicitada de Spark DataFrame para Dataset. Identifique onde um exemplo de Spark e Java se encaixaria e, em seguida, determine se o MapStruct consegue lidar com nomes de colunas de banco de dados e tipos de campos de POJO diferentes. O trabalho estará concluído quando houver um exemplo documentado e funcional que cubra essa conversão.
Escrita pelo modelo de indexação a partir do texto da issue.
Descrição
When using Apache Spark with Java there is a pretty common use case of converting Spark's Dataframes to POJO-based Datasets. The thing is that many times your Dataframe is imported from a database in which the column namings and types are different from your POJO.
Example for this can be found on the following Stackoverflow question (which has been solved programmatically with a map and rename functions). I was wondering if that example could be solved with MapStruct (and maybe would be added to this examples repo).
- Linguagem predominante
- Java
- Estrelas
- 1.4k
- Forks
- 504
- Métricas de merge de PRs
- Nenhum PR com merge em 30d
Guia de contribuição
Nenhum guia de contribuição indexado para este repositório
Primeiros passos
- Leia a issue inteira e depois o guia de contribuição do projeto.
- Comente na issue dizendo que vai assumir — evita que duas pessoas façam o mesmo trabalho.
- Faça um fork do repositório e trabalhe em uma branch.
- Abra um pull request que referencie o número da issue.
Mais de mapstruct/mapstruct-examples
-
Java 21 support Aberta
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 35/100
mapstruct/mapstruct-examples#153 · 1 comentário ·
-
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 25/100
mapstruct/mapstruct-examples#149 · 1 comentário ·
-
mapstruct-protobuf3 use lombok:UnsupportedOperationException(Collections$UnmodifiableCollection) Aberta
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 45/100
mapstruct/mapstruct-examples#142 ·
-
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 15/100
mapstruct/mapstruct-examples#138 ·
-
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 25/100
mapstruct/mapstruct-examples#127 ·
Todas as issues de mapstruct/mapstruct-examples
Issues semelhantes
-
certification
Dificuldade 1/5 Menos de uma hora Facilidade para iniciantes 80/100
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 75/100
-
[BUG] ECR GetAuthorizationToken returns a proxyEndpoint for the default region, not the request's Abertabug ecr
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 75/100
-
Needs: Triage Type: Feature request
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 70/100
AntennaPod/AntennaPod#8794 ·
-
agentic-workflows
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 65/100
github/copilot-sdk#2760 ·