Improve handling of imbalanced or small partitions
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 5/5
- Tiempo estimado
- Más de una semana
- Aptitud para principiantes
- 25/100
- Tipo de issue
- Error
- Claridad
- Necesita aclaración
- Estado de actividad
- Estancado
- Stack tecnológico
- python
- Área
- data-engineering, performance
Línea de trabajo
Empieza examinando la ruta de lectura de Parquet y los dos informes de benchmark enlazados sobre particiones desequilibradas y muy pequeñas. Determina qué estadísticas de partición se recopilan actualmente y define la finalización como una mejora en el manejo de ambos casos de partición reportados.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
At the moment, dask-expr struggles to deal with imbalanced (https://github.com/coiled/benchmarks/issues/1367#issuecomment-1936080012) or very small (https://github.com/coiled/benchmarks/issues/1381) partitions. We should improve this which likely requires overhauling the Parquet reading to collect better statistics.
- Lenguaje dominante
- Python
- Estrellas
- 89
- Forks
- 26
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Preparar el entorno
- Sin Dockerfile ni archivo de Docker Compose
- Sin plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de dask/dask-expr
-
Dificultad 4/5 3-5 días Aptitud para principiantes 38/100
-
Dificultad 3/5 1-2 días Aptitud para principiantes 45/100
-
Predicate pull-up optimizationAbierto
Dificultad 5/5 Más de una semana Aptitud para principiantes 30/100
-
Dificultad 4/5 3-5 días Aptitud para principiantes 30/100
-
Dificultad 3/5 1-2 días Aptitud para principiantes 25/100
Todos los issues de dask/dask-expr
Issues similares
-
documentation
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
ianktoo/project-monitor#14 ·
-
A wrong descriptor checksum is refused with the right one, also for an xprv or WIF descriptorAbiertosecurity
Dificultad 2/5 1-3 horas Aptitud para principiantes 84/100
btclib-org/btclib-wallet#478 ·
Los mantenedores suelen responder en 1 día
-
security
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
btclib-org/btclib#2727 ·
Los mantenedores suelen responder en 1 día
-
good first issue lead variant:container
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
radialmonster/orf-cleanroom#10 ·
Los mantenedores suelen responder en 1 día
-
gdsa opencode: keep-alive cleanup trap fails with 'keepalive_pid: unbound variable'Posiblemente ocupada @darribas la tomó hoy. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 85/100