Simultaneously read multiple Datasets into an Xarray-Beam pipeline
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Idoneità per principianti
- 35/100
- Tipo di issue
- Funzionalità
- Chiarezza
- Abbastanza chiara
- Stato di attività
- Ferma
- Stack tecnologico
- python
- Ambito
- data-engineering, distributed-systems
Direzione di ricerca
Inizia leggendo l’entry point esistente xbeam.DatasetToChunks e l’approccio attuale beam.CoGroupBykey descritto nell’issue. Definisci come una singola trasformazione debba accettare più oggetti xarray.Dataset ed emettere tuple di dataset con chiave senza la scrittura aggiuntiva su disco. Il lavoro è completato quando l’output sotto forma di tuple proposto funziona per più dataset in una pipeline Xarray-Beam.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
It is relatively common to need to load multiple xarray.Dataset objects, e.g., to compare two different models.
This currently can be done by loading data with separate calls to xbeam.DatasetToChunks, and by joining together the result with beam.CoGroupBykey. This works but is rather inefficient, involving an extra write of the data to disk. Ideally we could load the data in a single beam transform instead, e.g., xbeam.DatasetToChunks([ds1, ds2], chunks) would return a PCollection with elements of type tuple[xbeam.Key, tuple[xarray.Dataset, xarray.Dataset]].
CC @alxmrs
- Lingua principale
- Python
- Stelle
- 170
- Fork
- 15
- Merge medio
- 18h 27m
- PR unite (30g)
- 1
Preparare l'ambiente
- Nessun Dockerfile né file Docker Compose
- Nessun modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di google/xarray-beam
-
`OverflowError` when a chunk exceeds 2 GBForse già presa @chase-dwelle l’ha presa 146 giorni fa. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 76/100
google/xarray-beam#196 ·
-
Compatibility with IceChunk?Aperta
Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100
google/xarray-beam#199 ·
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 30/100
google/xarray-beam#195 ·
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 30/100
google/xarray-beam#173 ·
-
Support xarray.DataTreeAperta
Difficoltà 4/5 3-5 giorni Idoneità per principianti 35/100
google/xarray-beam#124 ·
Tutte le issue di google/xarray-beam
Issue simili
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
-
Clean up dependabot noiseApertaTask
Difficoltà 2/5 1-3 ore Idoneità per principianti 65/100
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 86/100
war-and-code/dircue#200 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 87/100
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 84/100
I maintainer di solito rispondono entro 1 giorno