JavaReservoirSampleOperator returns the whole input when the dataset size is unknown
メンテナーはふだん 2 日以内に返信
評価
調査の方向性
wayang-platforms/wayang-java/src/main/java/org/apache/wayang/java/operators/JavaReservoirSampleOperator.java の 84 行目付近を読み、次に兄弟の JavaRandomSampleOperator にある isDataSetSizeKnown() ガードと比較してください。常に setDatasetSize(10) を呼ぶ JavaReservoirSampleOperatorTest を拡張し、サイズを不明のままにして 10 個中ちょうど 5 個の要素が出ることをアサートするケースを追加してください。報告者が修正と PR はすでに用意済みだと言っているので、始める前にスレッドを確認してください。
索引モデルが issue の本文から書いたものです。
説明
JavaReservoirSampleOperator returns the entire input instead of a sample whenever the dataset size is unknown.
The bug
evaluate() takes a "return all" shortcut at JavaReservoirSampleOperator.java:84:
if (sampleSize >= datasetSize) { // return all
datasetSize defaults to SampleOperator.UNKNOWN_DATASET_SIZE (0). So when the size isn't known, sampleSize >= 0 is always true and the operator emits every element. The sibling JavaRandomSampleOperator already guards this with isDataSetSizeKnown() — the reservoir operator doesn't.
Reproduce
Sample 5 from 10 elements, without setting the dataset size (the normal streaming case):
JavaReservoirSampleOperator<Integer> op = new JavaReservoirSampleOperator<>(
it -> 5, DataSetType.createDefaultUnchecked(Integer.class), it -> 42L);
// no setDatasetSize(...) -> size is UNKNOWN
// input: 1..10
| Result | |
|---|---|
| Expected | 5 elements |
| Actual | 10 elements (all of them) |
The existing JavaReservoirSampleOperatorTest always calls setDatasetSize(10), so it never hits this path.
Environment
wayang-platforms/wayang-java · main (713faa7d) and 1.1.1.
Fix
A one-line guard (isDataSetSizeKnown() && …) plus a regression test — the streaming reservoir algorithm already handles inputs smaller than the sample size. I have it ready and can open a PR.
- 主要言語
- Java
- スター
- 284
- フォーク
- 143
- 平均マージ
- 2日 6時間
- マージ済み PR(30日)
- 16
環境構築
- Dockerfile または Docker Compose ファイルあり
- プルリクエストのテンプレートなし
- コントリビューションガイドを読む
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
apache/wayang のほかの issue
-
Record.compareTo() throws ClassCastException when comparing records対応中かも @harshitsingh070 が 64 日前に担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
メンテナーはふだん 2 日以内に返信
-
Unused parameter in function ProjectionDescriptor.createPojoJavaImplementation()対応中かも @AliRana30 が 72 日前に担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100
apache/wayang#732 · コメント 3 件 ·
メンテナーはふだん 2 日以内に返信
-
難易度 4/5 3〜5日 初心者へのやさしさ 42/100
メンテナーはふだん 2 日以内に返信
-
Add ClickHouse platform support (wayang-clickhouse)対応中かも @ekas-7 が 6 日前に担当しました。 オープン
難易度 5/5 1週間以上 初心者へのやさしさ 25/100
apache/wayang#871 · コメント 8 件 ·
メンテナーはふだん 2 日以内に返信
-
[PyWayang] Implement load_collection() and collect()対応中かも このイシューにリンクされたプルリクエストがオープン中、またはマージ済みです。 オープン
難易度 4/5 3〜5日 初心者へのやさしさ 25/100
メンテナーはふだん 2 日以内に返信
似ている issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 84/100
apache/flink-agents#1395 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 77/100
floci-io/floci#8666 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
難易度 1/5 1時間未満 初心者へのやさしさ 68/100
quarkiverse/quarkiverse#476 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 77/100
chinabugotech/hutool#4364 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
lesson-submission pending-review
難易度 1/5 1時間未満 初心者へのやさしさ 72/100
Ikalus1988/MisakaNet#5115 ·
メンテナーはふだん 1 日以内に返信