Hacktoberfest 2026: le issue che i maintainer hanno segnato per ottobre, aperte e adatte ai principianti. Sfoglia le issue Hacktoberfest

[BUG] Querying the Paimon table reveals no column-level lineage

Aperta
  • Qualcosa non va?
#4,609 1 commento 0 reazioni 0 assegnatari Vedi su GitHub

I maintainer di solito rispondono entro 4 giorni

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
4/5
Tempo stimato
3-5 giorni
Idoneità per principianti
45/100
Tipo di issue
Bug
Chiarezza
Abbastanza chiara
Stato di attività
Tranquilla
Stack tecnologico
java, spark
Ambito
data-engineering

Direzione di ricerca

Start by comparing the attached Paimon and Hive/Iceberg event samples and trace how the Spark integration collects lineage for each table source. The reproduction uses Spark 3.5 and Paimon; determine whether column-level lineage is supported for Paimon reads and inserts, then confirm the expected input and output datasets appear in the emitted event.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

kind:bug state:needs-triage
OpenLineage integration/client

Spark integration

OpenLineage version

OpenLineage 1.48.0

Technology and package versions

Spark3.5

Environment configuration

No response

Deployment details

No response

Problem details
Question

hello, openlineage integration with Spark.
After reading the Paimon table, the event is as follows, without the content of "inputs": [], "outputs": [] .
However, when reading a Hive/Iceberg table, there are contents such as "inputs": [], "outputs": [] .
After integrating openlineage into Spark, does Spark not support column-level lineage when querying the paimon table?

Query the events generated by the Paimon table

select-paimon.txt

Query the events generated by the Hive/Iceberg table

select-hive.txt

What you think should happen instead

After integrating openlineage into Spark, Spark queries on the paimon table should have "inputs": [], "outputs": []

How to reproduce

CREATE TABLE paimon.bdc_dim.user (
id INT,
name STRING,
age INT
)
USING paimon
TBLPROPERTIES (
'bucket' = '6',
'bucket-key' = 'id',
'file.compression' = 'snappy',
'file.format' = 'orc',
'num-sorted-run.compaction-trigger' = '10');

CREATE TABLE paimon.bdc_dim.user1 (
id INT,
name STRING,
age INT
)
USING paimon
TBLPROPERTIES (
'bucket' = '6',
'bucket-key' = 'id',
'file.compression' = 'snappy',
'file.format' = 'orc',
'num-sorted-run.compaction-trigger' = '10');

insert into paimon.bdc_dim.user values(1,'zhangsan',1);

insert into paimon.bdc_dim.user1
select id,name,age from paimon.bdc_dim.user;

Additional details

No response

Do you plan to make this contribution yourself?
  • I am interested in doing this work
Lingua principale
Java
Stelle
2.7k
Fork
545
Merge medio
5g 16h
PR unite (30g)
60

Preparare l'ambiente

Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di OpenLineage/OpenLineage

Tutte le issue di OpenLineage/OpenLineage

Issue simili

Altre issue su Java

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.