Aggregation with collectSet on empty dataset produces Null
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 3/5
- Tiempo estimado
- 1-2 días
- Aptitud para principiantes
- 45/100
- Tipo de issue
- Error
- Claridad
- Bastante claro
- Estado de actividad
- Estancado
- Stack tecnológico
- scala, spark
- Área
- data-engineering
Línea de trabajo
Comienza reproduciendo el ejemplo de TypedDataset vacío con collectSet combinado con min y, después, inspecciona la implementación de la agregación collectSet y las pruebas relacionadas. Se considera terminado cuando una entrada vacía devuelve WrappedArray() tanto por sí sola como al combinarse con otra agregación, sin cambiar el comportamiento de las entradas no vacías.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Consider the following example:
import frameless.functions.aggregate.{collectSet, max, min}
import frameless.syntax._
import frameless.TypedDataset
case class Foo(bar: Int)
val ds = TypedDataset.create(List.empty[Foo])
ds
.agg(
min(ds('bar)),
collectSet(ds('bar))
)
.collect
.run
It produces WrappedArray(null) while the expected value would be WrappedArray() because the initial dataset is empty.
Please note that this bug happen only when collectSet is combined with an other aggregation. Aggregating only with min produces the expected result.
While using only collectSet
ds.agg(collectSet(ds('bar))).collect.run
Produces WrappedArray(Vector()) while the expected value is WrappedArray()
I haven't tested with the other collect functions llke collectList
- Lenguaje dominante
- Scala
- Estrellas
- 895
- Forks
- 135
- Merge medio
- 7 h 38 min
- PR fusionados (30 d)
- 1
Preparar el entorno
- Sin Dockerfile ni archivo de Docker Compose
- Sin plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de typelevel/frameless
-
Scala 3 buildsAbiertoenhancement feature help wanted
Dificultad 4/5 3-5 días Aptitud para principiantes 35/100
-
Dificultad 4/5 3-5 días Aptitud para principiantes 35/100
-
Dificultad 3/5 1-2 días Aptitud para principiantes 35/100
-
enhancement feature
Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 30/100
Todos los issues de typelevel/frameless
Issues similares
-
ML Scorer validation passes identical non-numeric column types that scikit-learn cannot scoreAbierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 86/100
apache/texera#8756 · 4 comentarios ·
Los mantenedores suelen responder en 1 día
-
Setup dependabotAbierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 74/100
software-mansion/starknet-jvm#631 ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
lichess-org/lila#21861 ·
Los mantenedores suelen responder en 1 día
-
bug performance priority:medium regression
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
apache/datafusion-comet#6313 ·
Los mantenedores suelen responder en 1 día
-
bug
Dificultad 1/5 Menos de una hora Aptitud para principiantes 88/100