ice --watch --force-no-copy creates a table that ClickHouse cannot read
@subkanthi がすでに取り組んでいます。
2026年2月12日 から。
評価
この issue はまだ評価されていません。
説明
Problem Description
It seems to be possible to create an invalid Iceberg table using ice --watch --force-no-copy. Here's the sequence of commands.
Step 1: Set up S3 bucket and SQS queue as described in ice/examples/s3watch.
Step 2: Start ice process. Note: I use slightly different environmental variables from the ice example.
ice insert blog.tripdata_watch -p --force-no-copy --skip-duplicates \
"s3://$CATALOG_BUCKET/WATCH/blog/tripdata_watch/*.parquet" \
--watch="$CATALOG_SQS_QUEUE_URL"
Step 3: Write parquet data to file location from ClickHouse.
INSERT INTO FUNCTION s3('s3://rhodges-ice-rest-catalog-demo/WATCH/blog/tripdata_watch/{_partition_id}.parquet', 'Parquet') PARTITION BY concat('month=', month)
SELECT
*,
toYYYYMM(pickup_date) AS month
FROM tripdata
WHERE month IN (201602, 201603)
Step 4: Select from the table. An error message like the following results.
SELECT
count(),
avg(passenger_count),
avg(trip_distance)
FROM ice.`blog.tripdata_watch`
SETTINGS input_format_parquet_use_native_reader_v3 = 1, object_storage_cluster = 'swarm'
Received exception from server (version 25.8.9):
Code: 499. DB::Exception: Received from localhost:9000. DB::Exception: Received from chi-swarm-example-1-0-0.chi-swarm-example-1-0.antalya.svc.cluster.local:9000. DB::Exception: Failed to get object info: No response body.. HTTP response code: 404: while reading blog/tripdata_watch/month=201603.parquet: While executing ReadFromObjectStorage. (S3_ERROR)
Notes and helpful information.
- Using ice 0.8.1. and Antalya 25.8.9.20207.
- The table exists. You can run
ice scan blog.tripdata_watchandice describe blog.tripdata_watch. - This problem does not occur if you just create a different table using --force-no-copy but without --watch. The following command worked:
ice insert blog.tripdata_nocopy -p --thread-count=12 \
--force-no-copy \
--partition='[{"column":"month"}]' \
"s3://$CATALOG_BUCKET/PARQUET/*.parquet"
- Once this problem happens the table gets into a strange state and cannot recover. I tried to delete the table manually with
ice delete-table --purge, rewrite the data to S3, and create it again with a command like above. Queries failed with the same error.
It's hard to tell if this is just a ClickHouse bug or if ice is somehow also involved. I logged it on the ice project for now.
- 主要言語
- Java
- スター
- 35
- フォーク
- 7
- 平均マージ
- 5日 5時間
- マージ済み PR（30日）
- 4
環境構築
このプロジェクトには開発コンテナ、Dockerfile、コントリビューションガイドがありません。まず README を読み、一般的な手順ははじめてのコントリビューションガイドを参照してください。
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
Altinity/ice のほかの issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
-
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
-
Support configurable x-amz-meta-* headers for S3 requests対応中かも @xieandrew が 23 日前に担当しました。 オープンice-rest-catalog p1
-
Add support for multi-arg transforms in create-table再び着手できるかも @subkanthi が 37 日前に担当しましたが、オープン中のプルリクエストはありません。 オープン
-
難易度 4/5 3〜5日 初心者へのやさしさ 50/100
似ている issue
-
bug
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100
lugassawan/swe-workbench#799 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 66/100
Vakore/ZappierGames#89 ·
-
1.20.1-FORGE Module-Enhancement
難易度 2/5 1〜3時間 初心者へのやさしさ 65/100
MehVahdJukaar/WoodGood#1340 · コメント 1 件 ·
-
enhancement
難易度 2/5 1〜3時間 初心者へのやさしさ 65/100
PssbleTrngle/dye_depot#123 ·
-
bug question
難易度 2/5 1〜3時間 初心者へのやさしさ 67/100