Dimension order produced by Rechunk is opaque and not controllable; mismatch can cause errors from subsequent ChunksToZarr.
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Idoneità per principianti
- 35/100
- Tipo di issue
- Funzionalità
- Chiarezza
- Abbastanza chiara
- Stato di attività
- Ferma
- Stack tecnologico
- python
- Ambito
- data-engineering, distributed-systems
Direzione di ricerca
Inizia tracciando la pipeline Rechunk-to-ChunksToZarr descritta nel report e riproduci la discrepanza mostrata nell’ordine delle dimensioni. Confronta le dimensioni emesse da Rechunk con quelle previste dal template ChunksToZarr; il lavoro è completato quando l’ordine può essere controllato oppure quando dimensioni equivalenti vengono gestite in modo sicuro prima della scrittura.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
In a pipeline in which Rechunk is followed by ChunksToZarr, one can run into errors when the dimension order of variables output by Rechunk doesn't match that of the template you pass to ChunksToZarr, resulting in errors like:
ValueError: variable 'geopotential_quantiles' already exists with different dimension names ('hour', 'dayofyear', 'level', 'latitude', 'longitude', 'quantile') != ('level', 'hour', 'dayofyear', 'latitude', 'longitude', 'quantile'), but changing variable dimensions is not supported by to_zarr().
As far as I can tell Rechunk doesn't allow you to control the output dimension order (at least, not on a per-variable basis, which may be necessary to match a given template). An alternative could be to transpose the output template instead to match whatever Rechunk is going to produce, but it's hard to know what that's going to be as well.
As another way around this, it'd be nice if ChunksToZarr could just do the transpose rather than complain if it finds this kind of dimension mismatch (same dimensions in a different order).
- Lingua principale
- Python
- Stelle
- 170
- Fork
- 15
- Merge medio
- 23h 20m
- PR unite (30g)
- 2
Preparare l'ambiente
- Nessun Dockerfile né file Docker Compose
- Nessun modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di google/xarray-beam
-
`OverflowError` when a chunk exceeds 2 GBForse già presa @chase-dwelle l’ha presa 149 giorni fa. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 76/100
google/xarray-beam#196 ·
-
Compatibility with IceChunk?Aperta
Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100
google/xarray-beam#199 ·
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 30/100
google/xarray-beam#195 ·
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 30/100
google/xarray-beam#173 ·
-
Support xarray.DataTreeAperta
Difficoltà 4/5 3-5 giorni Idoneità per principianti 35/100
google/xarray-beam#124 ·
Tutte le issue di google/xarray-beam
Issue simili
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
aicell-lab/bioengine#232 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 74/100
modelscope/evalscope#1836 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
-
bug
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 78/100
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
jbaruch/speaker-toolkit#480 ·
I maintainer di solito rispondono entro 1 giorno