Atum integration

Đang mở

#211 mở ngày 6/4/2021 1 bình luận 1 reaction 1 người được giao Xem trên GitHub

@kevinwallimann đang làm issue này rồi.

Từ ngày 6/4/2021.

#214 của @kevinwallimann — đã đóng, không merge

Đánh giá

Độ khó: 5/5
Thời gian dự kiến: Hơn một tuần
Mức phù hợp với người mới: 20/100

Loại issue: Tính năng
Độ rõ ràng: Cần làm rõ
Mức độ hoạt động: Đình trệ
Công nghệ: scala, spark
Lĩnh vực: data-engineering, stream-processing

Hướng nghiên cứu

Bắt đầu bằng cách tìm cách sử dụng hoặc các điểm vào của Dataset.observe trong codebase Hyperdrive và đọc luồng streaming và ingestion của Spark xung quanh đó. Điều tra cách Atum được kỳ vọng sẽ kết nối với luồng đó và Dataset.observe có thể cung cấp những gì. Được coi là hoàn tất khi có một phương án tích hợp được lập tài liệu và thống nhất; issue không nêu tên file hoặc test.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

Investigate how Dataset.observe could be used to integrate with Atum

Ngôn ngữ chính: Scala
Star: 47
Fork: 14
Chỉ số merge pull request: Không có pull request nào được merge trong 30 ngày

Hướng dẫn đóng góp

Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này

Bắt đầu từ đâu

Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
Fork repository và làm thay đổi trên một nhánh.
Mở pull request có tham chiếu số hiệu của issue.

Issue khác của AbsaOSS/hyperdrive

Add timeout delays for docker test Đang mở

Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 45/100

AbsaOSS/hyperdrive#269 · Mở ngày 16/6/2022
Add deduplication logic for kafka sink in case of spark task retries Đang mở

enhancement

Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 25/100

AbsaOSS/hyperdrive#240 · Mở ngày 29/9/2021
DeduplicateKafkaSinkTransformer should work with fields from payload Đang mở

enhancement

Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 42/100

AbsaOSS/hyperdrive#239 · Mở ngày 27/9/2021
ConfluentAvroEncoder should not duplicate the schema if not needed Đang mở

bug

Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 35/100

AbsaOSS/hyperdrive#230 · Mở ngày 13/5/2021
Improve robustness of component tests Đang mở

internal-task

Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 28/100

AbsaOSS/hyperdrive#148 · 1 người được giao · Mở ngày 26/6/2020

Tất cả issue của AbsaOSS/hyperdrive

Issue tương tự

RS_PixelAsPoint raises out of grid where RS_PixelAsCentroid and RS_PixelAsPolygon extrapolate Đang mở

Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100

apache/sedona#3395 · Mở ngày 23/9/2026
Add full support for Excel and XML exports as email attachment Đang mở

Area: Excel support

Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100

orbeon/orbeon-forms#7893 · Mở ngày 23/9/2026
bin/verify-exercises-in-docker can never pass: lens-person's example needs scalaz, which the test runner does not ship Đang mở

x:action/fix x:module/practice-exercise x:size/small

Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100

exercism/scala#891 · Mở ngày 23/9/2026
incorrect message on bad internet connection Đang mở

Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100

lichess-org/lila#21788 · 2 bình luận · Mở ngày 23/9/2026
docs: fix stale and missing native write details in iceberg-writes.md and iceberg.md Đang mở

area:Iceberg area:writer documentation requires-triage

Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100

apache/datafusion-comet#6147 · Mở ngày 23/9/2026

Thêm issue về Scala