Convert Spark Dataframe to Dataset with MapStruct
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức phù hợp với người mới
- 25/100
- Loại issue
- Tính năng
- Độ rõ ràng
- Khá rõ ràng
- Mức độ hoạt động
- Đình trệ
- Công nghệ
- java, spark
- Lĩnh vực
- data-engineering
Hướng nghiên cứu
Bắt đầu bằng cách xem xét repository mapstruct-examples và câu hỏi Stack Overflow được liên kết để hiểu yêu cầu chuyển đổi từ Spark DataFrame sang Dataset. Xác định vị trí phù hợp cho một ví dụ về Spark và Java, sau đó xác định liệu MapStruct có thể xử lý các tên cột cơ sở dữ liệu và kiểu trường POJO khác nhau hay không. Công việc được xem là hoàn tất khi có một ví dụ hoạt động, có tài liệu, bao quát việc chuyển đổi đó.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
When using Apache Spark with Java there is a pretty common use case of converting Spark's Dataframes to POJO-based Datasets. The thing is that many times your Dataframe is imported from a database in which the column namings and types are different from your POJO.
Example for this can be found on the following Stackoverflow question (which has been solved programmatically with a map and rename functions). I was wondering if that example could be solved with MapStruct (and maybe would be added to this examples repo).
- Ngôn ngữ chính
- Java
- Star
- 1.4k
- Fork
- 504
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Hướng dẫn đóng góp
Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của mapstruct/mapstruct-examples
-
Java 21 support Đang mở
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 35/100
mapstruct/mapstruct-examples#153 · 1 bình luận ·
-
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 25/100
mapstruct/mapstruct-examples#149 · 1 bình luận ·
-
mapstruct-protobuf3 use lombok:UnsupportedOperationException(Collections$UnmodifiableCollection) Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 45/100
mapstruct/mapstruct-examples#142 ·
-
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 15/100
mapstruct/mapstruct-examples#138 ·
-
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 25/100
mapstruct/mapstruct-examples#127 ·
Tất cả issue của mapstruct/mapstruct-examples
Issue tương tự
-
bug untriaged
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 84/100
opensearch-project/ml-commons#5094 ·
-
bug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 85/100
-
emitter:client:csharp feature
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
-
affects/8.10 affects/8.9 component/clients kind/bug likelihood/mid severity/mid
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
-
Two open-case totals on one screen: the Programs tile says 15,858 and the nav badge says 15,868 Đang mởbug frontend maui-pilot
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100