DeduplicateKafkaSinkTransformer should work with fields from payload

オープン

#239 2021年9月27日に作成コメント 0 件リアクション 0 件担当者 0 名 GitHub で見る

まだ誰も着手していません。

評価

難易度: 3/5
見積もり時間: 1〜2日
初心者へのやさしさ: 42/100

issue の種類: バグ
明瞭さ: おおむね明確
活発さ: 停滞
技術スタック: kafka, scala, spark
領域: data-engineering, stream-processing

調査の方向性

再現箇所は driver/src/test/scala/za/co/absa/hyperdrive/driver/drivers/KafkaToKafkaDeduplicationAfterRetryDockerTest.scala の73～74行目です。まず、両方の transformer 設定を value.record_id に変更してから、そのテストを実行します。次に、DeduplicateKafkaSinkTransformer と報告されている Avro parsing exception を追跡します。payload から取得した ID フィールドでテストがパスすれば完了です。

索引モデルが issue の本文から書いたものです。

説明

enhancement

When changing https://github.com/AbsaOSS/hyperdrive/blob/develop/driver/src/test/scala/za/co/absa/hyperdrive/driver/drivers/KafkaToKafkaDeduplicationAfterRetryDockerTest.scala#L73-L74

      "transformer.[kafka.deduplicator].source.id.columns" -> "value.record_id",
      "transformer.[kafka.deduplicator].destination.id.columns" -> "value.record_id"

the test fails with the following exception:

org.apache.spark.SparkException: Malformed records are detected in record parsing.
Caused by: org.apache.avro.AvroTypeException: Found null, expecting string

Even if this behavior is documented, it may never have been working.

主要言語: Scala
スター: 47
フォーク: 14
PR マージ指標: 30日以内にマージされた PR はありません

コントリビューションガイド

このリポジトリのコントリビューションガイドは索引されていません

はじめの一歩

issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
リポジトリをフォークし、ブランチを切って変更します。
issue 番号を参照したプルリクエストを送ります。

AbsaOSS/hyperdrive のほかの issue

Add timeout delays for docker test オープン

難易度 2/5 1〜3時間初心者へのやさしさ 45/100

AbsaOSS/hyperdrive#269 · 2022年6月16日に作成
Add deduplication logic for kafka sink in case of spark task retries オープン

enhancement

難易度 5/5 1週間以上初心者へのやさしさ 25/100

AbsaOSS/hyperdrive#240 · 2021年9月29日に作成
ConfluentAvroEncoder should not duplicate the schema if not needed オープン

bug

難易度 3/5 1〜2日初心者へのやさしさ 35/100

AbsaOSS/hyperdrive#230 · 2021年5月13日に作成
Atum integration オープン

難易度 5/5 1週間以上初心者へのやさしさ 20/100

AbsaOSS/hyperdrive#211 · コメント 1 件 · リアクション 1 件 · 担当者 1 名 · 2021年4月6日に作成
Improve robustness of component tests オープン

internal-task

難易度 4/5 3〜5日初心者へのやさしさ 28/100

AbsaOSS/hyperdrive#148 · 担当者 1 名 · 2020年6月26日に作成

AbsaOSS/hyperdrive の issue をすべて見る

似ている issue

RS_PixelAsPoint raises out of grid where RS_PixelAsCentroid and RS_PixelAsPolygon extrapolate オープン

難易度 2/5 1〜3時間初心者へのやさしさ 75/100

apache/sedona#3395 · 2026年9月23日に作成
Add full support for Excel and XML exports as email attachment オープン

Area: Excel support

難易度 2/5 1〜3時間初心者へのやさしさ 75/100

orbeon/orbeon-forms#7893 · 2026年9月23日に作成
bin/verify-exercises-in-docker can never pass: lens-person's example needs scalaz, which the test runner does not ship オープン

x:action/fix x:module/practice-exercise x:size/small

難易度 2/5 1〜3時間初心者へのやさしさ 75/100

exercism/scala#891 · 2026年9月23日に作成
incorrect message on bad internet connection オープン

難易度 2/5 1〜3時間初心者へのやさしさ 75/100

lichess-org/lila#21788 · コメント 2 件 · 2026年9月23日に作成
docs: fix stale and missing native write details in iceberg-writes.md and iceberg.md オープン

area:Iceberg area:writer documentation requires-triage

難易度 2/5 1〜3時間初心者へのやさしさ 75/100

apache/datafusion-comet#6147 · 2026年9月23日に作成

Scala の issue をもっと見る