DeduplicateKafkaSinkTransformer should work with fields from payload
还没有人认领这个 Issue。
评估
- 难度
- 3/5
- 预计耗时
- 1-2 天
- 新手友好度
- 42/100
- Issue 类型
- 缺陷
- 描述清晰度
- 基本清楚
- 活跃度
- 停滞
- 技术栈
- kafka, scala, spark
调研方向
复现代码位于 driver/src/test/scala/za/co/absa/hyperdrive/driver/drivers/KafkaToKafkaDeduplicationAfterRetryDockerTest.scala 的第 73-74 行；先将两个 transformer 设置都改为 value.record_id，然后运行该测试。接着跟踪 DeduplicateKafkaSinkTransformer 和报告的 Avro 解析异常；当测试使用来自 payload 的 ID 字段通过时，即表示完成。
由索引模型根据 Issue 内容生成。
描述
to
"transformer.[kafka.deduplicator].source.id.columns" -> "value.record_id",
"transformer.[kafka.deduplicator].destination.id.columns" -> "value.record_id"
the test fails with the following exception:
org.apache.spark.SparkException: Malformed records are detected in record parsing.
Caused by: org.apache.avro.AvroTypeException: Found null, expecting string
Even if this behavior is documented, it may never have been working.
- 主要语言
- Scala
- 星标
- 47
- 派生
- 14
- PR 合并指标
- 30 天内没有已合并 PR
环境准备
这个项目没有提供开发容器、Dockerfile 或贡献指南，环境需要你自己搭建：先看它的 README，通用步骤见我们的新手贡献指南。
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
AbsaOSS/hyperdrive 的其他 Issue
-
难度 2/5 1-3 小时 新手友好度 45/100
AbsaOSS/hyperdrive#269 ·
-
enhancement
难度 5/5 一周以上 新手友好度 25/100
AbsaOSS/hyperdrive#240 ·
-
bug
难度 3/5 1-2 天 新手友好度 35/100
AbsaOSS/hyperdrive#230 ·
-
Atum integration可能重新可做 @kevinwallimann 于 2013 天前认领，目前没有进行中的 PR。 未关闭
难度 5/5 一周以上 新手友好度 20/100
AbsaOSS/hyperdrive#211 · 1 条评论 · 1 个 reaction · 已指派 1 人 ·
-
Improve robustness of component tests可能重新可做 @kevinwallimann 于 2297 天前认领，目前没有进行中的 PR。 未关闭internal-task
难度 4/5 3-5 天 新手友好度 28/100
AbsaOSS/hyperdrive#148 · 已指派 1 人 ·
查看 AbsaOSS/hyperdrive 的全部 Issue
相似的 Issue
-
bug
难度 2/5 1-3 小时 新手友好度 75/100
维护者通常 1 天内回复
-
good first issue
难度 2/5 1-3 小时 新手友好度 72/100
维护者通常 1 天内回复
-
Fix Math.ceilDiv wrong result for exact positive divisions可能已有人在做 @pamod-madubashana 于 1 天前认领。 未关闭
难度 2/5 1-3 小时 新手友好度 88/100
scala-native/scala-native#5094 ·
维护者通常 1 天内回复
-
dependencies tech-debt
难度 1/5 1 小时以内 新手友好度 85/100
维护者通常 2 天内回复
-
"Show threat" doesn't show the evaluation of the threat可能已有人在做 @Zinkelburger 于 2 天前认领。 未关闭
难度 2/5 1-3 小时 新手友好度 62/100
lichess-org/lila#22008 · 2 条评论 ·
维护者通常 1 天内回复