openPMD/openPMD-api

Streaming: Histogramming of Particle Data

Aberta

#1.248 aberto em 19 de abr. de 2022

Ver no GitHubGuia do colaborador
 (0 comentário) (3 reações) (1 responsável)C++ (57 forks)auto 404
help wantedtools

Métricas do repositório

Stars
 (160 estrelas)
Métricas de merge de PR
 (Métricas PR pendentes)

Description

@aeriforme would like to write a data pipeline that takes all particle data and bins it to a 1D or 2D user-defined histogram. This would be a great application of our work in @franzpoeschel et al. https://arxiv.org/abs/2107.06108.

Idea: Let's take the script in https://github.com/openPMD/openPMD-api/blob/dev/src/cli/pipe.py as a template and instead of forwarding the data 1:1 to another file format, we call np.histogram (1D) or np.histogram2d (2D) to store into a histogram per process. Finally, we reduce the histograms (sum) via mpi4py and write them out into a 2D mesh (or simple np.save from rank 0).

@aeriforme works with CINECA clusters.

Ref.:

Guia do colaborador

Direção de pesquisa
Examine o script modelo `src/cli/pipe.py` no repositório para entender como ler dados de partículas em streaming com openPMD. Em seguida, explore a documentação Python do openPMD para acessar registros de partículas. Depois use `numpy.histogram` ou `numpy.histogram2d` para fazer a binagem dos dados e use `mpi4py` para somar os histogramas entre os processos MPI.
Pilha de tecnologia
pythonnumpy
Domain
stream processingdata
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-2 dias
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Principalmente claro
Prerequisites
Pythonnumpympi4py
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
50