[BUG] Querying the Paimon table reveals no column-level lineage
维护者通常 4 天内回复
还没有人认领这个 Issue。
评估
- 难度
- 4/5
- 预计耗时
- 3-5 天
- 新手友好度
- 45/100
- Issue 类型
- 缺陷
- 描述清晰度
- 基本清楚
- 活跃度
- 冷清
- 技术栈
- java, spark
调研方向
Start by comparing the attached Paimon and Hive/Iceberg event samples and trace how the Spark integration collects lineage for each table source. The reproduction uses Spark 3.5 and Paimon; determine whether column-level lineage is supported for Paimon reads and inserts, then confirm the expected input and output datasets appear in the emitted event.
由索引模型根据 Issue 内容生成。
描述
OpenLineage integration/client
Spark integration
OpenLineage version
OpenLineage 1.48.0
Technology and package versions
Spark3.5
Environment configuration
No response
Deployment details
No response
Problem details
Question
hello, openlineage integration with Spark.
After reading the Paimon table, the event is as follows, without the content of "inputs": [], "outputs": [] .
However, when reading a Hive/Iceberg table, there are contents such as "inputs": [], "outputs": [] .
After integrating openlineage into Spark, does Spark not support column-level lineage when querying the paimon table?
Query the events generated by the Paimon table
Query the events generated by the Hive/Iceberg table
What you think should happen instead
After integrating openlineage into Spark, Spark queries on the paimon table should have "inputs": [], "outputs": []
How to reproduce
CREATE TABLE paimon.bdc_dim.user (
id INT,
name STRING,
age INT
)
USING paimon
TBLPROPERTIES (
'bucket' = '6',
'bucket-key' = 'id',
'file.compression' = 'snappy',
'file.format' = 'orc',
'num-sorted-run.compaction-trigger' = '10');
CREATE TABLE paimon.bdc_dim.user1 (
id INT,
name STRING,
age INT
)
USING paimon
TBLPROPERTIES (
'bucket' = '6',
'bucket-key' = 'id',
'file.compression' = 'snappy',
'file.format' = 'orc',
'num-sorted-run.compaction-trigger' = '10');
insert into paimon.bdc_dim.user values(1,'zhangsan',1);
insert into paimon.bdc_dim.user1
select id,name,age from paimon.bdc_dim.user;
Additional details
No response
Do you plan to make this contribution yourself?
- I am interested in doing this work
- 主要语言
- Java
- 星标
- 2.7k
- 派生
- 545
- 平均合并
- 5 天 10 小时
- 30 天内合并 PR
- 51
环境准备
这个项目没有提供开发容器、Dockerfile 或贡献指南，环境需要你自己搭建：先看它的 README，通用步骤见我们的新手贡献指南。
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
OpenLineage/OpenLineage 的其他 Issue
-
kind:proposal state:needs-triage
难度 2/5 1-3 小时 新手友好度 55/100
OpenLineage/OpenLineage#5106 · 1 条评论 ·
维护者通常 4 天内回复
-
kind:feature state:needs-triage
难度 4/5 3-5 天 新手友好度 48/100
OpenLineage/OpenLineage#5098 ·
维护者通常 4 天内回复
-
Visitor refactor未关闭area:integration/spark kind:refactor language:java
难度 5/5 一周以上 新手友好度 25/100
OpenLineage/OpenLineage#5092 ·
维护者通常 4 天内回复
-
[BUG][SPARK] Delta 3.1 metadata reconstruction emits checkpoint and commit-log input datasets可能重新可做 关联的 PR 已关闭且未合并。 未关闭
难度 4/5 3-5 天 新手友好度 48/100
OpenLineage/OpenLineage#5078 ·
维护者通常 4 天内回复
-
[BUG] dbt physical source identity and MySQL joined UPDATE inputs are incorrect可能已有人在做 @mattfaltyn 于 14 天前认领。 未关闭
难度 4/5 3-5 天 新手友好度 45/100
OpenLineage/OpenLineage#5065 · 1 条评论 ·
维护者通常 4 天内回复
查看 OpenLineage/OpenLineage 的全部 Issue
相似的 Issue
-
priority: medium Review effort [1-5]: 3 status: needs-triage type: bug
难度 2/5 1-3 小时 新手友好度 78/100
carlos-emr/carlos#5431 ·
维护者通常 1 天内回复
-
Integration tests: jetty:run fails with WELD-001408 for CountryJpaService可能已有人在做 @viniciusmachak 今天认领。 未关闭
难度 2/5 1-3 小时 新手友好度 66/100
primefaces/primefaces#15431 ·
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 80/100
OpenAPITools/openapi-generator#25454 ·
维护者通常 1 天内回复
-
Component - Build
难度 2/5 1-3 小时 新手友好度 75/100
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 62/100