Predicate validation in parquet could happen before compute
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 3/5
- Tiempo estimado
- 1-2 días
- Aptitud para principiantes
- 45/100
- Tipo de issue
- Error
- Claridad
- Bastante claro
- Estado de actividad
- Estancado
- Stack tecnológico
- python
- Área
- data-engineering
Línea de trabajo
Comienza por los puntos de entrada de filtros y validación de predicados de dd.read_parquet y compáralos después con la configuración de ddf.to_parquet mostrada en el ejemplo. Confirma que un operador no compatible se rechaza antes de que comience el cálculo, usando el caso pytest.raises proporcionado como prueba de regresión; se considera terminado cuando se lanza el mismo ValueError sin activar compute.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
ddf = dd.from_dict(
{"A": range(8), "B": [1, 1, 2, 2, 3, 3, 4, 4]},
npartitions=4,
)
ddf.to_parquet(tmp_path, engine=engine)
with pytest.raises(ValueError, match="not a valid operator in predicates"):
unsupported_op = [[("B", "not eq", 1)]]
dd.read_parquet(tmp_path, engine=engine, filters=unsupported_op)
Ideally, this would raise before we trigger compute
- Lenguaje dominante
- Python
- Estrellas
- 89
- Forks
- 26
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Preparar el entorno
- Sin Dockerfile ni archivo de Docker Compose
- Sin plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de dask/dask-expr
-
Dificultad 4/5 3-5 días Aptitud para principiantes 38/100
-
Dificultad 3/5 1-2 días Aptitud para principiantes 45/100
-
Predicate pull-up optimizationAbierto
Dificultad 5/5 Más de una semana Aptitud para principiantes 30/100
-
Dificultad 4/5 3-5 días Aptitud para principiantes 30/100
-
Dificultad 3/5 1-2 días Aptitud para principiantes 25/100
Todos los issues de dask/dask-expr
Issues similares
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 85/100
mozilla/bedrock#17413 · 1 reacción ·
Los mantenedores suelen responder en 2 días
-
instance instance add
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
searxng/searx-instances#943 · 1 comentario ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
Los mantenedores suelen responder en 1 día
-
bug tools
Dificultad 2/5 1-3 horas Aptitud para principiantes 88/100
Los mantenedores suelen responder en 1 día
-
bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 86/100
lance-format/lance#9655 ·
Los mantenedores suelen responder en 2 días