Support multiple output partitions for lazy file discovery
メンテナーはふだん 1 日以内に返信
まだ誰も着手していません。
評価
- 難易度
- 5/5
- 見積もり時間
- 1週間以上
- 初心者へのやさしさ
- 35/100
- issue の種類
- 機能追加
- 明瞭さ
- おおむね明確
- 活発さ
- 活発
- 技術スタック
- rust
調査の方向性
Start with the eager planning work in pull request #67 and its linked review discussion, then trace the lazy file discovery and execution paths. Define how partitions share discovery, assign tasks exactly once, handle early cancellation and backpressure, and isolate state across plan executions while preserving shared delete-loading state. Validate complete and filtered results, position deletes, LIMIT cancellation, and repeated executions.
索引モデルが issue の本文から書いたものです。
説明
Lazy Iceberg scans currently expose one DataFusion output partition. Eager planning in #67 can distribute retained file tasks across local partitions, but partitioned execution should also be possible without collecting all tasks first.
Support distributing one lazy file-discovery stream across multiple local output partitions. The design should avoid independently listing the same manifests for every partition, preserve exactly-once task assignment within each execution, and define cancellation/backpressure behavior when partitions stop early or are never opened. Re-executing a physical plan must get independent execution state. Reader clones should continue sharing delete-loading state within an execution.
Validate complete and filtered results, position deletes, LIMIT/cancellation, and repeated executions. This is a follow-up to #67, not a prerequisite for opt-in eager planning.
Requested in review: https://github.com/apache/datafusion-iceberg/pull/67#discussion_r4348219778
- 主要言語
- Rust
- スター
- 30
- フォーク
- 30
- 平均マージ
- 3日 19時間
- マージ済み PR（30日）
- 15
環境構築
このプロジェクトには開発コンテナ、Dockerfile、コントリビューションガイドがありません。まず README を読み、一般的な手順ははじめてのコントリビューションガイドを参照してください。
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
apache/datafusion-iceberg のほかの issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
apache/datafusion-iceberg#100 · コメント 2 件 ·
メンテナーはふだん 1 日以内に返信
-
難易度 5/5 1週間以上 初心者へのやさしさ 25/100
apache/datafusion-iceberg#85 · コメント 1 件 · リアクション 5 件 ·
メンテナーはふだん 1 日以内に返信
-
難易度 4/5 3〜5日 初心者へのやさしさ 35/100
apache/datafusion-iceberg#75 ·
メンテナーはふだん 1 日以内に返信
-
Slow CI runnersオープン
難易度 4/5 3〜5日 初心者へのやさしさ 18/100
apache/datafusion-iceberg#74 ·
メンテナーはふだん 1 日以内に返信
-
難易度 4/5 3〜5日 初心者へのやさしさ 35/100
apache/datafusion-iceberg#73 ·
メンテナーはふだん 1 日以内に返信
apache/datafusion-iceberg の issue をすべて見る
似ている issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 84/100
pop-os/cosmic-applets#1619 ·
メンテナーはふだん 3 日以内に返信
-
binding:python bug
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
メンテナーはふだん 1 日以内に返信
-
enhancement
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
coollabsio/orbit#72 ·
メンテナーはふだん 1 日以内に返信
-
swc_common: Mark::least_ancestor never returns when the answer is the root mark (ANT-2026-JYDQGGRT)オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
swc-project/swc-ai-issues#137 ·
-
Synth suite fails unless run from the repo root: signal_flow's default machine path is cwd-relativeオープンbug
難易度 2/5 1〜3時間 初心者へのやさしさ 80/100
Nimblesite/osprey#370 ·
メンテナーはふだん 1 日以内に返信