getvar() from many wrf output files?
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Idoneità per principianti
- 25/100
Direzione di ricerca
La issue cita getvar(), gli elenchi di netCDF4.Dataset, xarray.open_mfdataset, MFDataset e ncrcat, ma nessun file o test del repository. Inizia esaminando la gestione degli elenchi di Dataset da parte di getvar() e riproducendo il problema del descrittore di file; il lavoro sarà considerato completato quando sarà disponibile un workflow supportato documentato oppure una modifica circoscritta verificata su migliaia di file.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
First and foremost, thanks for providing this fantastic tool.
I'm using wrf.getvar() to open a time series for several variables (HFX, LH, some of the diagnostic variables) that are stored in WRF-written netCDF files. Each file contains a single temporal value (for a 30-minute period). It's a 4-month WRF run, so there are many of these files (> 5000).
For shorter WRF runs with fewer files I've passed getvar() a list of netCDF4.Datset objects.
Now I'm hitting a limit for number of open files (OSError: [Errno 24] Too many open files).
Is there a "best practice" for reading a single variable from lots and lots of netCDF files? It seems that xarray (1) isn't yet supported for getvar() and (2) may not work well anyway because xarray.open_mfdataset seems to want to read every variable from each WRF file and is thus very slow.
My WRF files are netCDF4 (not netCDF4-classic) which seems to rule out netcdf4.MFDataset().
Is my best bet to use something like ncrcat to make a temporary netCDF file containing only the variable I want? This could work but would, I guess, require some digging to supply all the WRF output variables needed for some of the wrf.getvar() diagnostic variables.
- Lingua principale
- Python
- Stelle
- 498
- Fork
- 178
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Guida per i contributori
Apri la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di NCAR/wrf-python
-
NCAR/wrf-python#309 · 1 assegnatario ·
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 38/100
NCAR/wrf-python#307 · 5 commenti ·
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 35/100
NCAR/wrf-python#286 · 3 commenti ·
-
Windows builds and testing Aperta
Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100
NCAR/wrf-python#282 · 1 commento ·
-
PyPI releases Aperta
NCAR/wrf-python#274 · 5 commenti · 1 reazione · 1 assegnatario ·
Tutte le issue di NCAR/wrf-python
Issue simili
-
bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
stephrobert/dsoxlab#238 ·
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
sublimehq/package_control#1780 ·
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 65/100
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 70/100
nwg-piotr/nwg-displays#145 ·