dask chunking tutorial outline
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Aptitud para principiantes
- 35/100
- Tipo de issue
- Documentación
- Claridad
- Bastante claro
- Estado de actividad
- Estancado
- Área
- data, documentation
Línea de trabajo
Review the linked Dask chunking resources and the repository's existing tutorial structure first; no target file is named in the issue. Done means an intermediate Xarray-user tutorial covers chunk-size effects, monitoring chunks and tasks, rechunking cost, and read-time versus storage chunk choices, including the proposed examples and images.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
from the pangeo working meeting discussion with @mgrover1 @jmunroe @norlandrhagen
Here's an outline for an intermediate tutorial talking about dask chunking specifically for Xarray users
Motivation: why care about chunk size?
- demonstrate relation between chunk size and computation time / number of tasks with a simple example?
- maybe even memory usage
- https://tutorial.dask.org/02_array.html#Choosing-good-chunk-sizes
- https://docs.dask.org/en/stable/array-chunks.html
Keeping track
- monitoring chunk sizes and num tasks throughout the pipeline using the repr
- use some images
- while output blocks may be small (say after a big reduction), intermediate blocks need not be.
- So keep monitoring chunksizes (and tasks) throughout the pipeline.
Why is it important to choose appropriate chunks early in the pipeline?
- Demonstrate that rechunking is not cheap in most cases
Specify chunks when reading data
- Avoid
chunks="auto". - Specifying
chunksduring data readopen_datasetopen_mfdataset
- Analysis vs storage chunks:
- Dask chunks should be a multiple of chunks on disk
- talk about aligning chunks with files stored on disk
- @djhoese example
- Lenguaje dominante
- Jupyter Notebook
- Estrellas
- 204
- Forks
- 121
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de xarray-contrib/xarray-tutorial
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
-
help wanted
Dificultad 4/5 3-5 días Aptitud para principiantes 48/100
xarray-contrib/xarray-tutorial#362 · 2 comentarios · 1 reacción ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 55/100
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100
-
Dificultad 4/5 3-5 días Aptitud para principiantes 38/100
Todos los issues de xarray-contrib/xarray-tutorial
Issues similares
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
run-llama/llama_index#23199 ·
-
enhancement P3: gap query
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
jeffknupp/association#192 ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 88/100
openml/openml-python#1749 ·
-
area:adapters bug engine:v2 snowflake status:triage triage type:bug v2
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100