Process/Decode Chunk Issue
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Idoneità per principianti
- 35/100
- Tipo di issue
- Bug
- Chiarezza
- Abbastanza chiara
- Stato di attività
- Ferma
- Stack tecnologico
- python
- Ambito
- data-engineering
Direzione di ricerca
Riproducete il malfunzionamento utilizzando i riferimenti Kerchunk forniti e i metadati .zarray yyyymmdd. Tracciate il modo in cui il valore del chunk viene decodificato e rimodellato, quindi verificate che la rappresentazione venga interpretata in modo coerente con la forma dichiarata [3600,64] e la dimensione del chunk [1,64], producendo il risultato atteso di 1 per 64.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
I have some NetCDF UKCP data with a variable called "yyyymmdd" that is stored in the Kerchunk file like so:
"yyyymmdd/.zarray": "{\"chunks\":[1,64],\"compressor\":null,\"dtype\":\"|S1\",\"fill_value\":\"IA==\",\"filters\":null,\"order\":\"C\",\"shape\":[3600,64],\"zarr_format\":2}",
"yyyymmdd/.zattrs": "{\"_ARRAY_DIMENSIONS\":[\"time\",\"string64\"],\"long_name\":\"yyyymmdd\",\"units\":\"1\"}",
"yyyymmdd/0.0": "19801201",
"yyyymmdd/1.0": "19801202",
"yyyymmdd/2.0": "19801203",
"yyyymmdd/3.0": "19801204",
"yyyymmdd/4.0": "19801205",
"yyyymmdd/5.0": "19801206",
"yyyymmdd/6.0": "19801207",
"yyyymmdd/7.0": "19801208",
"yyyymmdd/8.0": "19801209",
"yyyymmdd/9.0": "19801210",
When decoded I get the error message:
cannot reshape array of size 8 into shape (1,64)
Which I think is because the part of Zarr that decodes this is expecting a base64 encoded array rather than a string of 8 characters? That or the dimension/chunk/shape is being interpreted incorrectly. How should an array like this be interpreted within Zarr and decoded into an array of 1 by 64 when each chunk is an 8 character string?
- Lingua principale
- Python
- Stelle
- 367
- Fork
- 97
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Preparare l'ambiente
Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di fsspec/kerchunk
-
add autodask exampleAperta
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 68/100
-
utils.subchunk silently produces fewer sub-chunks than requested when the factor spans more than one axisForse già presa @bhaskargurram-ai l’ha presa 4 giorni fa. Aperta
Difficoltà 3/5 1-2 giorni Idoneità per principianti 56/100
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100
-
Difficoltà 3/5 1-2 giorni Idoneità per principianti 68/100
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100
Tutte le issue di fsspec/kerchunk
Issue simili
-
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 75/100
SACGF/variantgrid#2791 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 66/100
I maintainer di solito rispondono entro 1 giorno
-
bot-triaged oncall: cpu inductor
Difficoltà 2/5 1-3 ore Idoneità per principianti 73/100
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 76/100
kubescape/cel-admission-library#141 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno