perf: take_rows opens a scheduler per fragment, so its I/O concurrency is fragments x LANCE_IO_THREADS

オープン
#10,528 コメント 0 件 リアクション 0 件 担当者 0 名 GitHub で見る

メンテナーはふだん 2 日以内に返信

まだ誰も着手していません。

評価

難易度
4/5
見積もり時間
3〜5日
初心者へのやさしさ
45/100
issue の種類
リファクタリング
明瞭さ
おおむね明確
活発さ
活発
技術スタック
rust
領域
performance

調査の方向性

Start from Dataset::take_rows and FileFragment::open where a ScanScheduler is opened per fragment. Review the branch perf/take-shared-scheduler-main that adds FragReadConfig::with_scan_scheduler and with_base_schedulers in do_take_rows. Run the S3 benchmark from the issue to verify peak GETs align with LANCE_IO_THREADS. Done means a take respects the I/O budget without slowing high-latency reads.

索引モデルが issue の本文から書いたものです。

説明

performance

Observation

Dataset::take_rows opens one ScanScheduler per touched fragment (FragReadConfig carries no scheduler, FileFragment::open creates one with SchedulerConfig::max_bandwidth). The I/O budget of a take is therefore fragments x LANCE_IO_THREADS, not LANCE_IO_THREADS.

Measured on a 2.0 table (52 fragments, 110 scalar columns, ~4 000 GETs per 100-row take) read over S3 from a 290 ms RTT link, lance main at bf867011a:

per-fragment schedulers (main) one scheduler per take, 64 / 256 / 1024 threads
peak GETs in flight 2 300-2 800 at any LANCE_IO_THREADS 64 / 256 / ~1 000
new TLS connections, back-to-back takes 190-350 0
new TLS connections after a 15 s idle gap 1 790 64 / 258 / ~260
warm take, 100 rows 2.2-2.6 s 19 s / 5.2 s / 2.5 s
cold take, 100 rows 4.9-5.1 s, 6.8 s CPU - / 7.3 s, 3.4 s CPU / 4.9 s, 4.7 s CPU

So the per-fragment design is what makes takes fast on high-latency links (one wave of ~2 800 handshakes, then 5-8 round trips), at the cost of thousands of connections (strace: 37 K connect calls, 2 600 TLS handshakes per cold take) and 30-40% more CPU. A shared scheduler bounds all of that but turns the take into GETs / LANCE_IO_THREADS round trips, which is 2-8x slower unless the limit is raised to ~1 000.

Question

Is the unbounded per-fragment concurrency intended? If a take should respect LANCE_IO_THREADS, it needs its own capacity (a multiple of io_parallelism, or an explicit option) so cross-region readers do not regress. The branch perf/take-shared-scheduler-main (12 lines: FragReadConfig::with_scan_scheduler + with_base_schedulers in do_take_rows) is the shared-scheduler variant used for the measurements.

主要言語
Rust
スター
7.3k
フォーク
929
平均マージ
2日 22時間
マージ済み PR(30日)
572

環境構築

Codespaces で開く

このプロジェクトの開発コンテナを、あなたの GitHub アカウントでブラウザ上に起動します。

はじめの一歩

  1. issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
  2. 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
  3. リポジトリをフォークし、ブランチを切って変更します。
  4. issue 番号を参照したプルリクエストを送ります。

lance-format/lance のほかの issue

lance-format/lance の issue をすべて見る

似ている issue

Rust の issue をもっと見る

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。