glue-viz/glue-openspace

Use a more efficient mechanism for passing data and subsets to OpenSpace

Aperta

#5 aperta il 26 giu 2019

Vedi su GitHubGuida contributor
 (1 commento) (0 reazioni) (0 assegnatari)Python (4 fork)github user discovery
OpenSpace work requiredPerformancehelp wanted

Metriche repository

Star
 (2 stelle)
Metriche merge PR
 (Nessuna PR mergiata in 30 g)

Descrizione

This requires changes in OpenSpace, but tables with ~10^5-6 rows or more, it's going to be critical to have the ability to pass the data to OpenSpace in binary form, either using a binary file format, or by somehow sharing memory. The former is probably easier, and will be required anyway if OpenSpace is running on a separate machine from glue.

For subsets, the ideal solution would be to be able to tell OpenSpace that a data layer is a subset of another layer, and provide a bit/boolean mask array indicating which elements to pick.

Guida contributor

Direzione di ricerca
Investiga il meccanismo di trasferimento dati corrente tra glue e OpenSpace. Esplora formati di dati binari come HDF5 o FITS e considera file mappati in memoria per la memoria condivisa. Per i sottoinsiemi, progetta un approccio con array di maschere di bit e proponi modifiche alla gestione del livello dati di OpenSpace.
Tech stack
python
Dominio
dataperformance
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
4
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
3-5 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
PythonglueOpenSpace
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
20