Spatial partitioning, sorting and shuffling
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 5/5
- Tiempo estimado
- Más de una semana
- Aptitud para principiantes
- 25/100
Línea de trabajo
Start with the dask-geopandas spatial partitioning guide, then review the linked xarray.IndexVariable PR and out-of-core index issue. Check the linked Xarray spatial-shuffling PR and determine how space-filling curve values and chunked geometry indexes should fit in xvec. Done means spatially partitioned geometry coordinates and GeometryIndex support the intended out-of-core sorting and shuffling.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
When dealing with large sets of geometries it would be nice if we could partition (chunk) the geometry coordinate and the GeometryIndex based on spatial locality (thus requiring spatial sorting or shuffling), like explained for geo-dataframes in dask-geopandas' spatial partitioning user guide.
This would require a good amount of work both here and upstream, though:
- refactor
xarray.IndexVariableto allow dask arrays or other lazy arrays https://github.com/pydata/xarray/pull/8124 (although we can work around this by using regularxarray.Variableobjects for now) - add some sort of generic, out-of-core index in Xarray https://github.com/pydata/xarray/issues/1650, or add our own ad-hoc version here
- compute space-filling curve values from geometries (copied or factored out from dask-geopandas?)
- implement spatial shuffling, probably reusing what is being added in Xarray https://github.com/pydata/xarray/pull/9320
- Lenguaje dominante
- Python
- Estrellas
- 139
- Forks
- 14
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Guía de contribución
No hay ninguna guía de contribución indexada para este repositorio
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de xarray-contrib/xvec
-
CI
Dificultad 3/5 1-2 días Aptitud para principiantes 35/100
xarray-contrib/xvec#145 ·
-
Dificultad 3/5 1-2 días Aptitud para principiantes 58/100
xarray-contrib/xvec#141 · 2 comentarios ·
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100
xarray-contrib/xvec#129 · 1 comentario ·
-
update fixtures in future Abierto
Dificultad 3/5 1-2 días Aptitud para principiantes 35/100
xarray-contrib/xvec#113 ·
-
Dificultad 4/5 3-5 días Aptitud para principiantes 35/100
xarray-contrib/xvec#100 ·
Todos los issues de xarray-contrib/xvec
Issues similares
-
bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
xinnan-tech/xiaozhi-fde-talk#263 ·
-
rules
Dificultad 1/5 Menos de una hora Aptitud para principiantes 90/100
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 70/100
huggingface/Repo2RLEnv#163 · 1 comentario ·
-
Dificultad 1/5 Menos de una hora Aptitud para principiantes 95/100
huggingface/sentence-transformers#4074 ·
-
comp/dashboard invalid P3
Dificultad 2/5 1-3 horas Aptitud para principiantes 70/100
NousResearch/hermes-agent#121143 ·