[client] LimitBatchScanner leaks Arrow read context on log-table LIMIT scan
メンテナーはふだん 1 日以内に返信
評価
調査の方向性
fluss-client の LimitBatchScanner 実装にある parseLimitScanResponse() から始め、LogRecordReadContext.createReadContext() を呼び出すログテーブルのパスに注目してください。パース後、およびパースに失敗した場合に read context が閉じられるようにしてください。完了とは、スキャナーが閉じられる前に LIMIT スキャンが Arrow allocator を解放することです。
索引モデルが issue の本文から書いたものです。
説明
Description
LimitBatchScanner.parseLimitScanResponse() creates a LogRecordReadContext for log tables (no primary key) and never closes it.
For Arrow log format, LogRecordReadContext.createReadContext() allocates a RootAllocator backed by the scanner's ChunkedFactory. The record iterator is closed, and rows are deep-copied, but the read context itself is left open. LimitBatchScanner.close() only closes chunkedFactory, so the allocator and its off-heap chunks can leak on every LIMIT scan of an Arrow log table.
LogRecordReadContext readContext =
LogRecordReadContext.createReadContext(...);
// iterated, then dropped without readContext.close()
This is a different path from #4345 (LogFetcher / LogScannerImpl close chain).
Expected
LogRecordReadContext is closed after parsing (including on parse failure), so Arrow allocators are released before the scanner is closed.
How to reproduce
- Create an Arrow log table (no primary key).
- Run a
LIMITscan /LimitBatchScanner.pollBatch(). - Close the scanner. The read-context allocator is never closed.
Component
fluss-client — LimitBatchScanner
- 主要言語
- Java
- スター
- 2.2k
- フォーク
- 656
- 平均マージ
- 2日 23時間
- マージ済み PR(30日)
- 90
環境構築
- Dockerfile・Docker Compose ファイルなし
- プルリクエストのテンプレートあり
- コントリビューションガイドなし
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
apache/fluss のほかの issue
-
[lake/iceberg] Reserved write-mode properties can be set and reset through their `iceberg.` key対応中かも @aphenix-r7 が 7 日前に担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
apache/fluss#4658 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
[common] Decimal#hashCode is inconsistent with Decimal#equals対応中かも @firasbouzazi が 19 日前に担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
apache/fluss#4538 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
[security] PlainSaslServerProvider conflicts with Hadoop SASL provider causing authentication failure対応中かも @xinzhang-hello が 24 日前に担当しました。 オープン
難易度 1/5 1時間未満 初心者へのやさしさ 88/100
メンテナーはふだん 1 日以内に返信
-
[server] KV snapshot scheduling stops permanently after a transient snapshot-init failure対応中かも @zhang-arvin が 24 日前に担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 88/100
apache/fluss#4489 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
[docs] Document advertised-resource and ACL principal ignore-case options対応中かも @EchoLee5 が 36 日前に担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 84/100
メンテナーはふだん 1 日以内に返信
似ている issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 79/100
checkstyle/checkstyle#22145 ·
メンテナーはふだん 1 日以内に返信
-
rset command throws NPE in ResultsFormat.guessSyntax対応中かも @Ostrzyciel が今日担当しました。 オープンbug
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
メンテナーはふだん 1 日以内に返信
-
enhancement good first issue help wanted
難易度 2/5 1〜3時間 初心者へのやさしさ 83/100
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
objectionary/eo#9593 ·
メンテナーはふだん 1 日以内に返信
-
enhancement
難易度 2/5 1〜3時間 初心者へのやさしさ 65/100