Apply Dask to parallelise acs_regional_stats
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Idoneità per principianti
- 35/100
- Tipo di issue
- Funzionalità
- Chiarezza
- Abbastanza chiara
- Stato di attività
- Ferma
- Stack tecnologico
- jupyter-notebook
- Ambito
- data, performance
Direzione di ricerca
Inizia con example_notebooks/FAQ_example_timeseries_stats.ipynb e l’entry point acs_regional_stats, quindi esegui l’attuale calcolo giornaliero su più anni per determinarne l’uso della memoria e il tempo di esecuzione. Sviluppa l’esempio basato su Dask richiesto, che calcola le medie areali per file, e verifica che produca serie temporali regionali riducendo al contempo l’attuale carico di lavoro, che richiede diversi minuti e molta memoria.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
acs_regional_stats can be very memory intensive to run, particularly over many regions and many timesteps.
We should develop an example of running acs_regional_stats for many years of daily data to produce area averaged timeseries for regions. Currently, this is possible, but will take several minutes to calculate.
Dask is likely to be able to achieve this by calculating area averages per file.
Previous development has focused on reducing memory usage through other clever means, such as implementing chunks to reduce the number of timesteps loaded into the memory to calculate stats over each time. This could be parallelised, but it is not currently.
- Lingua principale
- Jupyter Notebook
- Stelle
- 8
- Fork
- 1
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Preparare l'ambiente
Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di AusClimateService/plotting_maps
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100
-
Improve plot_titlesForse di nuovo libera @xenct l’ha presa 657 giorni fa e non c’è nessuna pull request aperta. Aperta
AusClimateService/plotting_maps#37 · 2 commenti · 1 assegnatario ·
-
Plot one colour per regionAperta
Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100
-
Improve select area visualsAperta
Difficoltà 3/5 1-2 giorni Idoneità per principianti 45/100
-
Update cmap_dictForse di nuovo libera @xenct l’ha presa 657 giorni fa e non c’è nessuna pull request aperta. Aperta
AusClimateService/plotting_maps#33 · 1 assegnatario ·
Tutte le issue di AusClimateService/plotting_maps
Issue simili
-
new spec review
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
w3c/browser-specs#2674 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
[AddToken] `tICP` to `BASE`Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 70/100
cowprotocol/token-lists#1533 ·
I maintainer di solito rispondono entro 7 giorni
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 80/100
PathOfBuildingCommunity/PathOfBuilding-PoE2#2560 ·
I maintainer di solito rispondono entro 4 giorni