DataFrame.divisions are lost on repartition when npartions==1
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 3/5
- Tiempo estimado
- 1-2 días
- Aptitud para principiantes
- 48/100
Línea de trabajo
Reproduce el problema con el fragmento de Python usando repartition o set_index con npartitions=1 y, a continuación, sigue las rutas de implementación relevantes de dask-expr para esas operaciones. Se considera terminado cuando se conservan las DataFrame.divisions resultantes en lugar de informarse como (None, None), mientras que el comportamiento existente con múltiples particiones sigue siendo correcto.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
DataFrame.divisions are lost when using repartition or set_index with npartitions == 1
df = pd.DataFrame(np.random.randint(0, 20000, size=(10, 3)), columns=list('ABC'))
ddf = dd.from_pandas(df)
print(ddf.divisions) # (0, 9)
ddf = ddf.reset_index().set_index("A", sort=True, npartitions=2)
print(ddf.divisions) # (1483, 19649)
ddf = dd.from_pandas(df)
ddf = ddf.reset_index().set_index("A", sort=True, npartitions=1)
print(ddf.divisions) # (None, None)
Environment:
- Dask version:
2024.3.0 - Python version:
3.12.2 - Operating System: Osx
- Install method (conda, pip, source): pip
- Lenguaje dominante
- Python
- Estrellas
- 89
- Forks
- 26
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Preparar el entorno
- Sin Dockerfile ni archivo de Docker Compose
- Sin plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de dask/dask-expr
-
Dificultad 4/5 3-5 días Aptitud para principiantes 38/100
-
Dificultad 3/5 1-2 días Aptitud para principiantes 45/100
-
Predicate pull-up optimizationAbierto
Dificultad 5/5 Más de una semana Aptitud para principiantes 30/100
-
Dificultad 4/5 3-5 días Aptitud para principiantes 30/100
-
Dificultad 3/5 1-2 días Aptitud para principiantes 25/100
Todos los issues de dask/dask-expr
Issues similares
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
conda-forge/conda-build-feedstock#289 · 1 comentario · 1 reacción ·
-
`pulptest` no longer works in 4.0.0: `ImportError: Start directory is not importable: 'pulp/tests'`Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
-
remove reddit feedsAbierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
TomCasavant/ohio-sites#224 ·