openPMD/openPMD-api

Streaming: Histogramming of Particle Data

Aperta

#1248 aperta il 19 apr 2022

Vedi su GitHubGuida contributor
 (0 commenti) (3 reazioni) (1 assegnatario)C++ (57 fork)auto 404
help wantedtools

Metriche repository

Star
 (160 stelle)
Metriche merge PR
 (Metriche PR in attesa)

Descrizione

@aeriforme would like to write a data pipeline that takes all particle data and bins it to a 1D or 2D user-defined histogram. This would be a great application of our work in @franzpoeschel et al. https://arxiv.org/abs/2107.06108.

Idea: Let's take the script in https://github.com/openPMD/openPMD-api/blob/dev/src/cli/pipe.py as a template and instead of forwarding the data 1:1 to another file format, we call np.histogram (1D) or np.histogram2d (2D) to store into a histogram per process. Finally, we reduce the histograms (sum) via mpi4py and write them out into a 2D mesh (or simple np.save from rank 0).

@aeriforme works with CINECA clusters.

Ref.:

Guida contributor

Direzione di ricerca
Studia lo script modello `src/cli/pipe.py` nel repository per capire come leggere i dati delle particelle in streaming con openPMD. Poi esplora la documentazione Python di openPMD per accedere ai record delle particelle. Infine usa `numpy.histogram` o `numpy.histogram2d` per creare gli istogrammi e usa `mpi4py` per sommarli tra i processi MPI.
Tech stack
pythonnumpy
Dominio
stream processingdata
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Abbastanza chiara
Prerequisiti
Pythonnumpympi4py
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
50