JavaReservoirSampleOperator returns the whole input when the dataset size is unknown
Maintainer thường phản hồi trong vòng 2 ngày
Đánh giá
- Độ khó
- 2/5
- Thời gian dự kiến
- 1-3 giờ
- Mức phù hợp với người mới
- 72/100
Hướng nghiên cứu
Đọc wayang-platforms/wayang-java/src/main/java/org/apache/wayang/java/operators/JavaReservoirSampleOperator.java quanh dòng 84, rồi so sánh với guard isDataSetSizeKnown() trong JavaRandomSampleOperator anh em. Mở rộng JavaReservoirSampleOperatorTest, vốn luôn gọi setDatasetSize(10), với một trường hợp để kích thước không xác định và khẳng định đúng 5 trong 10 phần tử đi ra. Lưu ý rằng người báo cáo nói một fix và PR đã được chuẩn bị sẵn, nên hãy kiểm tra thread trước khi bắt đầu.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
JavaReservoirSampleOperator returns the entire input instead of a sample whenever the dataset size is unknown.
The bug
evaluate() takes a "return all" shortcut at JavaReservoirSampleOperator.java:84:
if (sampleSize >= datasetSize) { // return all
datasetSize defaults to SampleOperator.UNKNOWN_DATASET_SIZE (0). So when the size isn't known, sampleSize >= 0 is always true and the operator emits every element. The sibling JavaRandomSampleOperator already guards this with isDataSetSizeKnown() — the reservoir operator doesn't.
Reproduce
Sample 5 from 10 elements, without setting the dataset size (the normal streaming case):
JavaReservoirSampleOperator<Integer> op = new JavaReservoirSampleOperator<>(
it -> 5, DataSetType.createDefaultUnchecked(Integer.class), it -> 42L);
// no setDatasetSize(...) -> size is UNKNOWN
// input: 1..10
| Result | |
|---|---|
| Expected | 5 elements |
| Actual | 10 elements (all of them) |
The existing JavaReservoirSampleOperatorTest always calls setDatasetSize(10), so it never hits this path.
Environment
wayang-platforms/wayang-java · main (713faa7d) and 1.1.1.
Fix
A one-line guard (isDataSetSizeKnown() && …) plus a regression test — the streaming reservoir algorithm already handles inputs smaller than the sample size. I have it ready and can open a PR.
- Ngôn ngữ chính
- Java
- Star
- 284
- Fork
- 143
- Merge trung bình
- 2 ngày 6 giờ
- Pull request đã merge (30 ngày)
- 16
Chuẩn bị môi trường
- Có Dockerfile hoặc tệp Docker Compose
- Không có mẫu pull request
- Đọc hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của apache/wayang
-
Record.compareTo() throws ClassCastException when comparing recordsCó thể đã có người làm @harshitsingh070 đã nhận 64 ngày trước. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 82/100
Maintainer thường phản hồi trong vòng 2 ngày
-
Unused parameter in function ProjectionDescriptor.createPojoJavaImplementation()Có thể đã có người làm @AliRana30 đã nhận 72 ngày trước. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 76/100
apache/wayang#732 · 3 bình luận ·
Maintainer thường phản hồi trong vòng 2 ngày
-
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 42/100
Maintainer thường phản hồi trong vòng 2 ngày
-
Add ClickHouse platform support (wayang-clickhouse)Có thể đã có người làm @ekas-7 đã nhận 6 ngày trước. Đang mở
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 25/100
apache/wayang#871 · 8 bình luận ·
Maintainer thường phản hồi trong vòng 2 ngày
-
[PyWayang] Implement load_collection() and collect()Có thể đã có người làm Có pull request liên kết đang mở hoặc đã được merge. Đang mở
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 25/100
Maintainer thường phản hồi trong vòng 2 ngày
Tất cả issue của apache/wayang
Issue tương tự
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 84/100
apache/flink-agents#1395 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 77/100
floci-io/floci#8666 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 68/100
quarkiverse/quarkiverse#476 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 77/100
chinabugotech/hutool#4364 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
lesson-submission pending-review
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 72/100
Ikalus1988/MisakaNet#5115 ·
Maintainer thường phản hồi trong vòng 1 ngày