Filewriter: implement structure
@Tom-Willemsen ci sta già lavorando.
Dal 18/9/2026.
Valutazione
Questa issue non è ancora stata valutata.
Descrizione
Implement the initial top-level structure of the filewriter process, to prove that we have a design that will work in practice. This should follow DS ADR 10.
Should include:
- Trait definitions for writer modules
- Kafka-listening infrastructure (including pooled architecture)
- HDF5-writing infrastructure
- Including writing fully-static datasets/groups
- Infrastructure for parsing dynamically-provided
nexus_structure(part of run start)- Including configuration parameters for each writer module
- Logging
- Metrics
- Testing
- Including unit tests for individual writer modules
- Benchmarking
- Include a bench for each writer module
- Include one overall top-level bench for writing a small but representative file in-memory
- Docs
- Error propagation with appropriate context for debugging (likely miette + thiserror)
- Two different writer modules, which may write simple/incomplete data at this stage.
- E.g. simplified IXseblock and simplified NXevent_data
Functionally, the end point of this ticket is that we have a filewriter process that can listen to streams of data from Kafka and write some data from those streams, in a simplified/incomplete way, to a HDF5/NeXus file.
- Lingua principale
- Nessun dato sulla lingua
- Stelle
- 0
- Fork
- 0
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Guida per i contributori
Nessuna guida per i contributori indicizzata per questo repository
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di ISISComputingGroup/DataStreaming
-
ISISComputingGroup/DataStreaming#115 · 1 assegnatario ·
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 35/100
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 45/100
-
Difficoltà 3/5 1-2 giorni Idoneità per principianti 48/100
-
`kafka_dae_control`: unset pause on runstart, or set it if doing an explicit `begin(paused=True)` Aperta
ISISComputingGroup/DataStreaming#109 · 1 commento · 1 assegnatario ·