[Bug] Iceberg metadata unreadable by Snowflake

オープン
#9,012 コメント 1 件 リアクション 0 件 担当者 0 名 GitHub で見る

まだ誰も着手していません。

評価

難易度
4/5
見積もり時間
3〜5日
初心者へのやさしさ
50/100
issue の種類
バグ
明瞭さ
おおむね明確
活発さ
活発
技術スタック
java
領域
data-engineering

調査の方向性

Paimon 2.0.0-rc4、Flink 2.2、Iceberg 互換性を有効にした状態、および Snowflake で障害を再現します。Iceberg メタデータの生成とフィールド ID の処理を追跡し、その後、生成されたメタデータがゼロ ID エラーなしで Snowflake に受け入れられることを確認します。ソースファイルやテストは指定されていないため、関連する互換性コードとリグレッションカバレッジの特定も作業の一部です。

索引モデルが issue の本文から書いたものです。

説明

bug
Search before asking
  • I searched in the issues and found nothing similar.
Paimon version

2.0.0-rc4

Compute Engine

Flink 2.2

Minimal reproduce step

Create a Paimon table with Iceberg compatibility enabled, try to read the table from Snowflake.

What doesn't meet your expectations?

Snowflake cannot read the Iceberg metadata, returning this error: Unsupported: external field ID in metadata file cannot be zero.
It looks like Snowflake enforces all field IDs to be > 0 (which is how the Iceberg implementation works), but Paimon generates metadata with field IDs starting from 0, so Snowflake treats that as invalid metadata.

Anything else?

I'm not really sure what the best option is here. Looks like field mappings are encoded in Parquet footers, so maybe an option could be to specify an option at table creation to start all field IDs from 1 rather than 0 in order to produce more universally Iceberg-compatible layout?

Are you willing to submit a PR?
  • I'm willing to submit a PR!
主要言語
Java
スター
3.4k
フォーク
1.4k
平均マージ
1日 14時間
マージ済み PR（30日）
468

コントリビューションガイド

このリポジトリのコントリビューションガイドは索引されていません

はじめの一歩

  1. issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
  2. 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
  3. リポジトリをフォークし、ブランチを切って変更します。
  4. issue 番号を参照したプルリクエストを送ります。

apache/paimon のほかの issue

apache/paimon の issue をすべて見る

似ている issue

Java の issue をもっと見る

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。