JavaReservoirSampleOperator returns the whole input when the dataset size is unknown

Abierto Apto para principiantes
#884 3 comentarios 0 reacciones 0 asignados Ver en GitHub

Los mantenedores suelen responder en 2 días

@sasmith-14 ya está trabajando en esto.

Desde el 14/11/2026.

  • #885 de @sasmith-14 — abierto

Evaluación

Dificultad
2/5
Tiempo estimado
1-3 horas
Aptitud para principiantes
72/100
Tipo de issue
Error
Claridad
Bien especificado
Estado de actividad
Activo
Stack tecnológico
java
Área
data

Línea de trabajo

Lee wayang-platforms/wayang-java/src/main/java/org/apache/wayang/java/operators/JavaReservoirSampleOperator.java alrededor de la línea 84 y luego compáralo con la guarda isDataSetSizeKnown() en el JavaRandomSampleOperator hermano. Amplía JavaReservoirSampleOperatorTest, que siempre llama a setDatasetSize(10), con un caso que deje el tamaño desconocido y afirme que salen exactamente 5 de 10 elementos. Ten en cuenta que quien reporta dice que ya hay un fix y un PR preparados, así que revisa el hilo antes de empezar.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

JavaReservoirSampleOperator returns the entire input instead of a sample whenever the dataset size is unknown.

The bug

evaluate() takes a "return all" shortcut at JavaReservoirSampleOperator.java:84:

if (sampleSize >= datasetSize) { // return all

datasetSize defaults to SampleOperator.UNKNOWN_DATASET_SIZE (0). So when the size isn't known, sampleSize >= 0 is always true and the operator emits every element. The sibling JavaRandomSampleOperator already guards this with isDataSetSizeKnown() — the reservoir operator doesn't.

Reproduce

Sample 5 from 10 elements, without setting the dataset size (the normal streaming case):

JavaReservoirSampleOperator<Integer> op = new JavaReservoirSampleOperator<>(
        it -> 5, DataSetType.createDefaultUnchecked(Integer.class), it -> 42L);
// no setDatasetSize(...)  ->  size is UNKNOWN
// input: 1..10
Result
Expected 5 elements
Actual 10 elements (all of them)

The existing JavaReservoirSampleOperatorTest always calls setDatasetSize(10), so it never hits this path.

Environment

wayang-platforms/wayang-java · main (713faa7d) and 1.1.1.

Fix

A one-line guard (isDataSetSizeKnown() && …) plus a regression test — the streaming reservoir algorithm already handles inputs smaller than the sample size. I have it ready and can open a PR.

Lenguaje dominante
Java
Estrellas
284
Forks
143
Merge medio
2 d 6 h
PR fusionados (30 d)
16

Preparar el entorno

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de apache/wayang

Todos los issues de apache/wayang

Issues similares

Más issues de Java

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.