Cross-check the child stats of string columns against vortex-jni

オープン
#708 コメント 0 件 リアクション 0 件 担当者 0 名 GitHub で見る

メンテナーはふだん 1 日以内に返信

まだ誰も着手していません。

評価

難易度
3/5
見積もり時間
1〜2日
初心者へのやさしさ
58/100
issue の種類
バグ
明瞭さ
おおむね明確
活発さ
活発
技術スタック
java
領域
testing

調査の方向性

Read NodeStatsInteropIntegrationTest and docs/compatibility.md, especially the vortex.fsst notes. Identify the child stats for string columns and compare stat presence and precision per node, plus values that do not depend on the trained FSST table; use a low-cardinality column for dict codes. Done means the test covers these cases without comparing FSST-dependent values byte-for-byte.

索引モデルが issue の本文から書いたものです。

説明

enhancement good first issue

Split from #583. NodeStatsInteropIntegrationTest compares every flat root and the whole tree of the numeric columns against vortex-jni, but not the children of string columns (FSST lengths and codes, dict values).

Their stat values depend on the trained FSST symbol table, which cannot be byte-identical to Rust's: candidates of equal gain pop in hash-map iteration order, which depends on the CPU's SIMD width (see docs/compatibility.md, vortex.fsst). A plain comparison would be flaky.

To do: compare the stat set per node (which stats are present, precision) rather than values where the table matters, and values where they do not (e.g. vortex.sequence offsets, dict codes of a low-cardinality column).

Parity directive: this is a test gap, not a known divergence.

主要言語
Java
スター
3
フォーク
2
平均マージ
9時間 19分
マージ済み PR(30日)
154

環境構築

はじめの一歩

  1. issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
  2. 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
  3. リポジトリをフォークし、ブランチを切って変更します。
  4. issue 番号を参照したプルリクエストを送ります。

dfa1/vortex-java のほかの issue

dfa1/vortex-java の issue をすべて見る

似ている issue

Java の issue をもっと見る

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。