Better documentation of behaviour with irregular source chunks
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Aptitud para principiantes
- 25/100
- Tipo de issue
- Documentación
- Claridad
- Necesita aclaración
- Estado de actividad
- Estancado
- Stack tecnológico
- python
- Área
- data-engineering
Línea de trabajo
Comienza revisando el comportamiento de Rechunk y ConsolidateChunks con tamaños de chunk de origen irregulares, incluido el ejemplo del año bisiesto en el issue. Determina si la limitación es fundamental y qué orientación, como el preprocesamiento con SplitChunks, debería documentarse; se considerará terminado cuando la limitación y las recomendaciones estén explicadas claramente.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Hiya!
In some source datasets the original chunks have irregular sizes. For example one netcdf file per year, where some years are leap years hence shorter than others.
Although the data model would seem to support this in principle, I couldn't get Rechunk or ConsolidateChunks to work without regular source chunk sizes.
Is this a fundamental limitation or something that could be in scope to address? And do you have any recommendations for getting data like this into regular chunks? In the leap year case, first splitting the source chunks into one chunk per day using SplitChunks could be an option. Although in general this would require splitting into chunks of gcd(*all_possible_source_chunk_sizes) which could be too small.
- Lenguaje dominante
- Python
- Estrellas
- 170
- Forks
- 15
- Merge medio
- 23 h 20 min
- PR fusionados (30 d)
- 2
Preparar el entorno
- Sin Dockerfile ni archivo de Docker Compose
- Sin plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de google/xarray-beam
-
`OverflowError` when a chunk exceeds 2 GBPosiblemente ocupada @chase-dwelle la tomó hace 149 días. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
google/xarray-beam#196 ·
-
Compatibility with IceChunk?Abierto
Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100
google/xarray-beam#199 ·
-
Dificultad 4/5 3-5 días Aptitud para principiantes 30/100
google/xarray-beam#195 ·
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 30/100
google/xarray-beam#173 ·
-
Support xarray.DataTreeAbierto
Dificultad 4/5 3-5 días Aptitud para principiantes 35/100
google/xarray-beam#124 ·
Todos los issues de google/xarray-beam
Issues similares
-
area: desktop area: website priority: P2 type: feature
Dificultad 2/5 1-3 horas Aptitud para principiantes 62/100
appandflow/stim#3411 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
bug
Dificultad 2/5 Menos de una hora Aptitud para principiantes 88/100
baptistehamon/lsapy#185 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
PolicyEngine/policyengine-us#10073 ·
Los mantenedores suelen responder en 2 días
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
syedhamidali/radarx#277 ·
Los mantenedores suelen responder en 1 día
-
bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
Arekkazu/sgpmp-backend#549 ·
Los mantenedores suelen responder en 1 día