perf: take_rows opens a scheduler per fragment, so its I/O concurrency is fragments x LANCE_IO_THREADS
メンテナーはふだん 2 日以内に返信
まだ誰も着手していません。
評価
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 初心者へのやさしさ
- 45/100
- issue の種類
- リファクタリング
- 明瞭さ
- おおむね明確
- 活発さ
- 活発
- 技術スタック
- rust
- 領域
- performance
調査の方向性
Start from Dataset::take_rows and FileFragment::open where a ScanScheduler is opened per fragment. Review the branch perf/take-shared-scheduler-main that adds FragReadConfig::with_scan_scheduler and with_base_schedulers in do_take_rows. Run the S3 benchmark from the issue to verify peak GETs align with LANCE_IO_THREADS. Done means a take respects the I/O budget without slowing high-latency reads.
索引モデルが issue の本文から書いたものです。
説明
Observation
Dataset::take_rows opens one ScanScheduler per touched fragment (FragReadConfig carries no scheduler, FileFragment::open creates one with SchedulerConfig::max_bandwidth). The I/O budget of a take is therefore fragments x LANCE_IO_THREADS, not LANCE_IO_THREADS.
Measured on a 2.0 table (52 fragments, 110 scalar columns, ~4 000 GETs per 100-row take) read over S3 from a 290 ms RTT link, lance main at bf867011a:
| per-fragment schedulers (main) | one scheduler per take, 64 / 256 / 1024 threads | |
|---|---|---|
| peak GETs in flight | 2 300-2 800 at any LANCE_IO_THREADS |
64 / 256 / ~1 000 |
| new TLS connections, back-to-back takes | 190-350 | 0 |
| new TLS connections after a 15 s idle gap | 1 790 | 64 / 258 / ~260 |
| warm take, 100 rows | 2.2-2.6 s | 19 s / 5.2 s / 2.5 s |
| cold take, 100 rows | 4.9-5.1 s, 6.8 s CPU | - / 7.3 s, 3.4 s CPU / 4.9 s, 4.7 s CPU |
So the per-fragment design is what makes takes fast on high-latency links (one wave of ~2 800 handshakes, then 5-8 round trips), at the cost of thousands of connections (strace: 37 K connect calls, 2 600 TLS handshakes per cold take) and 30-40% more CPU. A shared scheduler bounds all of that but turns the take into GETs / LANCE_IO_THREADS round trips, which is 2-8x slower unless the limit is raised to ~1 000.
Question
Is the unbounded per-fragment concurrency intended? If a take should respect LANCE_IO_THREADS, it needs its own capacity (a multiple of io_parallelism, or an explicit option) so cross-region readers do not regress. The branch perf/take-shared-scheduler-main (12 lines: FragReadConfig::with_scan_scheduler + with_base_schedulers in do_take_rows) is the shared-scheduler variant used for the measurements.
- 主要言語
- Rust
- スター
- 7.3k
- フォーク
- 929
- 平均マージ
- 2日 22時間
- マージ済み PR(30日)
- 572
環境構築
このプロジェクトの開発コンテナを、あなたの GitHub アカウントでブラウザ上に起動します。
- Dockerfile または Docker Compose ファイルあり
- プルリクエストのテンプレートなし
- コントリビューションガイドを読む
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
lance-format/lance のほかの issue
-
bug(python): read_transaction raises TypeError on a Rewrite with rewritten indices対応中かも @Borg93 が今日担当しました。 オープンbug
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
lance-format/lance#11117 ·
メンテナーはふだん 2 日以内に返信
-
bug
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
lance-format/lance#10782 ·
メンテナーはふだん 2 日以内に返信
-
Upgrade DataFusion for the unparser stack-overflow fix再び着手できるかも このイシューのプルリクエストはマージされずにクローズされました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
lance-format/lance#8225 ·
メンテナーはふだん 2 日以内に返信
-
enhancement
難易度 1/5 1時間未満 初心者へのやさしさ 84/100
lance-format/lance#6425 · コメント 2 件 ·
メンテナーはふだん 2 日以内に返信
-
Expose compute_pq_distance再び着手できるかも このイシューのプルリクエストはマージされずにクローズされました。 オープンenhancement
難易度 1/5 1〜3時間 初心者へのやさしさ 62/100
lance-format/lance#5675 · コメント 1 件 ·
メンテナーはふだん 2 日以内に返信
lance-format/lance の issue をすべて見る
似ている issue
-
area:cli area:security bug priority:medium
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
メンテナーはふだん 1 日以内に返信
-
status: new topic: ga4gh-sdk type: bug
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
メンテナーはふだん 1 日以内に返信
-
comp-rbac
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
ClickHouse/ClickHouse#131875 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 70/100
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 80/100
googleworkspace/cli#984 ·
メンテナーはふだん 1 日以内に返信