Can kerchunk return references where the final chunk is smaller?
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Idoneità per principianti
- 35/100
- Tipo di issue
- Funzionalità
- Chiarezza
- Da chiarire
- Stato di attività
- Ferma
- Stack tecnologico
- python
- Ambito
- data-engineering
Direzione di ricerca
Inizia esaminando i dizionari di riferimenti generati da kerchunk per singoli file netCDF, concentrandoti sulla possibilità che le variabili abbiano più voci di chunk e che il chunk finale possa essere più piccolo. Confronta il comportamento osservato con il modello zarr e determina se la chiave shape può descrivere ogni chunk; l’issue è risolta quando i casi (a) e (b) ricevono una risposta sulla base del comportamento di kerchunk.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Basically I want to check some assumptions I'm making about concatenation of kerchunk references in VirtualiZarr (for this issue).
I would like to know if when I scan e.g. a single netCDF file with kerchunk, for the returned reference dict:
a) are there files where I will get back more than one chunk entry per variable for one file,
b) if so are there files where instead of all those chunks being the same size, one of them could be smaller (like the final chunk can be in the zarr model)?
In the zarr model (b) is allowed, but that doesn't mean that kerchunk ever actually does it.
If (b) never happens, that's nice because then I can basically just take the shape key in each kerchunk reference dict as referring to every chunk from that variable from that file with no exceptions, and I won't have issues of unknowingly concatenating arrays to become variable-length chunks.
- Lingua principale
- Python
- Stelle
- 367
- Fork
- 97
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Preparare l'ambiente
Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di fsspec/kerchunk
-
add autodask exampleAperta
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 68/100
-
utils.subchunk silently produces fewer sub-chunks than requested when the factor spans more than one axisForse già presa @bhaskargurram-ai l’ha presa 3 giorni fa. Aperta
Difficoltà 3/5 1-2 giorni Idoneità per principianti 56/100
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100
-
Difficoltà 3/5 1-2 giorni Idoneità per principianti 68/100
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100
Tutte le issue di fsspec/kerchunk
Issue simili
-
Djangonauts
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
render-engine/render-engine-cli#71 ·
I maintainer di solito rispondono entro 1 giorno
-
Installation guide's prerequisites leave out ca-certificates, which a no-recommends system needsApertabot-found documentation priority: P3
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 94/100
madenvel/KalinkaPlayer#544 ·
-
debt python-version
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
microsoft/vscode-flake8#614 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 69/100
-
enhancement
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
I maintainer di solito rispondono entro 2 giorni