JavaReservoirSampleOperator returns the whole input when the dataset size is unknown
Los mantenedores suelen responder en 2 días
Evaluación
- Dificultad
- 2/5
- Tiempo estimado
- 1-3 horas
- Aptitud para principiantes
- 72/100
Línea de trabajo
Lee wayang-platforms/wayang-java/src/main/java/org/apache/wayang/java/operators/JavaReservoirSampleOperator.java alrededor de la línea 84 y luego compáralo con la guarda isDataSetSizeKnown() en el JavaRandomSampleOperator hermano. Amplía JavaReservoirSampleOperatorTest, que siempre llama a setDatasetSize(10), con un caso que deje el tamaño desconocido y afirme que salen exactamente 5 de 10 elementos. Ten en cuenta que quien reporta dice que ya hay un fix y un PR preparados, así que revisa el hilo antes de empezar.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
JavaReservoirSampleOperator returns the entire input instead of a sample whenever the dataset size is unknown.
The bug
evaluate() takes a "return all" shortcut at JavaReservoirSampleOperator.java:84:
if (sampleSize >= datasetSize) { // return all
datasetSize defaults to SampleOperator.UNKNOWN_DATASET_SIZE (0). So when the size isn't known, sampleSize >= 0 is always true and the operator emits every element. The sibling JavaRandomSampleOperator already guards this with isDataSetSizeKnown() — the reservoir operator doesn't.
Reproduce
Sample 5 from 10 elements, without setting the dataset size (the normal streaming case):
JavaReservoirSampleOperator<Integer> op = new JavaReservoirSampleOperator<>(
it -> 5, DataSetType.createDefaultUnchecked(Integer.class), it -> 42L);
// no setDatasetSize(...) -> size is UNKNOWN
// input: 1..10
| Result | |
|---|---|
| Expected | 5 elements |
| Actual | 10 elements (all of them) |
The existing JavaReservoirSampleOperatorTest always calls setDatasetSize(10), so it never hits this path.
Environment
wayang-platforms/wayang-java · main (713faa7d) and 1.1.1.
Fix
A one-line guard (isDataSetSizeKnown() && …) plus a regression test — the streaming reservoir algorithm already handles inputs smaller than the sample size. I have it ready and can open a PR.
- Lenguaje dominante
- Java
- Estrellas
- 284
- Forks
- 143
- Merge medio
- 2 d 6 h
- PR fusionados (30 d)
- 16
Preparar el entorno
- Incluye un Dockerfile o un archivo de Docker Compose
- Sin plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de apache/wayang
-
Record.compareTo() throws ClassCastException when comparing recordsPosiblemente ocupada @harshitsingh070 la tomó hace 64 días. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
Los mantenedores suelen responder en 2 días
-
Unused parameter in function ProjectionDescriptor.createPojoJavaImplementation()Posiblemente ocupada @AliRana30 la tomó hace 72 días. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
apache/wayang#732 · 3 comentarios ·
Los mantenedores suelen responder en 2 días
-
Dificultad 4/5 3-5 días Aptitud para principiantes 42/100
Los mantenedores suelen responder en 2 días
-
Add ClickHouse platform support (wayang-clickhouse)Posiblemente ocupada @ekas-7 la tomó hace 6 días. Abierto
Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100
apache/wayang#871 · 8 comentarios ·
Los mantenedores suelen responder en 2 días
-
[PyWayang] Implement load_collection() and collect()Posiblemente ocupada Un pull request vinculado a esta issue está abierto o ya se fusionó. Abierto
Dificultad 4/5 3-5 días Aptitud para principiantes 25/100
Los mantenedores suelen responder en 2 días
Todos los issues de apache/wayang
Issues similares
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 84/100
apache/flink-agents#1395 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 77/100
floci-io/floci#8666 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
Dificultad 1/5 Menos de una hora Aptitud para principiantes 68/100
quarkiverse/quarkiverse#476 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 77/100
chinabugotech/hutool#4364 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
lesson-submission pending-review
Dificultad 1/5 Menos de una hora Aptitud para principiantes 72/100
Ikalus1988/MisakaNet#5115 ·
Los mantenedores suelen responder en 1 día