`filewriter`: Neutron event data (`raw_data_1/detector_1_events`)
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 5/5
- Tiempo estimado
- Más de una semana
- Aptitud para principiantes
- 25/100
- Tipo de issue
- Nueva funcionalidad
- Claridad
- Necesita aclaración
- Estado de actividad
- Tranquilo
- Área
- data-engineering
Línea de trabajo
Comienza en el punto de entrada de filewriter y compara su salida actual con el grupo NXevent_data en raw_data_1/detector_1_events. Lee el comportamiento de event_aggregator y resuelve las preguntas sobre event_time_bins, el orden de los tiempos de referencia, el orden de los eventos y las flags de veto. Se considera terminado cuando el formato de archivo de eventos en streaming requerido y las reglas de procesamiento estén acordados e implementados.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
The filewriter must be able to write out event-mode data.
This means the contents of the NXevent_data group in raw_data_1/detector_1_events
Questions
- What do we want to do with
event_time_bins, which aren't meaningful in streaming system? - Due to an underlying UDP connection from hardware, the streaming system cannot guarantee that frame
N+1will have a laterreference_timethan frameN. Do any consumers make assumptions about this?- This affects whether we can stream events to file directly, or whether we have to buffer, sort by reference time, and then write to file
- Does mantid have a dependency on event time-of-flights being ordered within a frame? Currently this sort is (optionally) done at
event_aggregatorlevel as multiple consumers benefit from improved performance with sorted events.
Potential differences from existing files
- We likely no longer need to apply a random
event_time_offset_shift, as the new electronics has a much higher time resolution than the old DAE electronics. See https://github.com/ISISComputingGroup/DataStreaming/issues/22 . - We want to be able to write the veto flags for each frame alongside the event data, to enable downstream consumers to retroactively enable or disable a veto if it chooses:
active_vetos: the veto signals that were actually active for a given frameenabled_vetos: the vetoes that were enabled in IBEX at the time of data acquisition- By default downstream consumers will want to mask any events where
active_vetos & enabled_vetos != 0. - If adding this logic is problematic for Mantid, we could (optionally) drop the frames at filewriter level instead - at the cost of reducing flexibility and reducing diagnostics we have access to.
- Lenguaje dominante
- Sin datos de lenguaje
- Estrellas
- 0
- Forks
- 0
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Guía de contribución
No hay ninguna guía de contribución indexada para este repositorio
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de ISISComputingGroup/DataStreaming
-
ISISComputingGroup/DataStreaming#115 · 1 asignado ·
-
Filewriter: implement structure Abierto
ISISComputingGroup/DataStreaming#114 · 1 asignado ·
-
Dificultad 4/5 3-5 días Aptitud para principiantes 35/100
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 45/100
-
Dificultad 3/5 1-2 días Aptitud para principiantes 48/100
Todos los issues de ISISComputingGroup/DataStreaming
Issues similares
-
bug triage
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
fivetran/great_expectations#12253 ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
-
correction metadata
Dificultad 1/5 Menos de una hora Aptitud para principiantes 78/100
acl-org/acl-anthology#10071 · 1 comentario ·
-
data:css needs triage
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
mdn/browser-compat-data#30618 ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 70/100
basedosdados/pipelines#2095 ·