openPMD/openPMD-api

Series Open Performance

Aperta

#485 aperta il 19 feb 2019

Vedi su GitHubGuida contributor
 (9 commenti) (0 reazioni) (0 assegnatari)C++ (57 fork)auto 404
good first issuehelp wantedinternal

Metriche repository

Star
 (160 stelle)
Metriche merge PR
 (Metriche PR in attesa)

Descrizione

We should investigate and profile our performance of Series open (especially with READ_ONLY and READ_WRITE, but also with CREATE on truncation: #483).

Most crucial with file-based series, I have the subjective feeling they are slower than they need to be, already in serial mode.

We might need to clearly define also in this step, what we check and assume when opening a series (aka contract). The less assumptions the better, if you ask me. For example, I would not expect the data of each iteration nor it's names or layouts to be required to match. (Although some applications, such as our openPMD-viewer GUI, will benefit if we later on provide an auxiliary scan-like list summary for records in all iterations.)

Resources

Maybe some useful resources:

Guida contributor

Direzione di ricerca
Investiga il percorso del codice Series::open per le serie basate su file. Usa strumenti di profiling come strace e perf per identificare i colli di bottiglia nelle modalità READ ONLY, READ WRITE e CREATE. Confronta le attuali assunzioni sui layout delle iterazioni e valuta se possono essere rilassate. Guarda le operazioni del filesystem esistenti e la classe auxiliary::Filesystem. Controlla il problema #483 sulla troncatura e #462 sui log temporali. Inizia scrivendo un micro benchmark per misurare i tempi di apertura.
Tech stack
cpp
Dominio
backend
Tipo issue
Performance
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Mezza giornata
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Abbastanza chiara
Prerequisiti
C++GitProfiling tools
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
35