Filewriter: implement structure
@Tom-Willemsen arbeitet bereits daran.
Seit 18.9.2026.
Bewertung
Dieses Issue wurde noch nicht bewertet.
Beschreibung
Implement the initial top-level structure of the filewriter process, to prove that we have a design that will work in practice. This should follow DS ADR 10.
Should include:
- Trait definitions for writer modules
- Kafka-listening infrastructure (including pooled architecture)
- HDF5-writing infrastructure
- Including writing fully-static datasets/groups
- Infrastructure for parsing dynamically-provided
nexus_structure(part of run start)- Including configuration parameters for each writer module
- Logging
- Metrics
- Testing
- Including unit tests for individual writer modules
- Benchmarking
- Include a bench for each writer module
- Include one overall top-level bench for writing a small but representative file in-memory
- Docs
- Error propagation with appropriate context for debugging (likely miette + thiserror)
- Two different writer modules, which may write simple/incomplete data at this stage.
- E.g. simplified IXseblock and simplified NXevent_data
Functionally, the end point of this ticket is that we have a filewriter process that can listen to streams of data from Kafka and write some data from those streams, in a simplified/incomplete way, to a HDF5/NeXus file.
- Vorherrschende Sprache
- Keine Sprachdaten
- Sterne
- 0
- Forks
- 0
- PR-Merge-Kennzahlen
- Keine gemergten PRs in 30 T.
Beitragsleitfaden
Für dieses Repository ist kein Beitragsleitfaden indexiert
Erste Schritte
- Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
- Forken Sie das Repository und arbeiten Sie in einem Branch.
- Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.
Mehr aus ISISComputingGroup/DataStreaming
-
ISISComputingGroup/DataStreaming#115 · 1 zugewiesene Person ·
-
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 35/100
-
Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 45/100
-
Schwierigkeit 3/5 1-2 Tage Anfängerfreundlichkeit 48/100
-
`kafka_dae_control`: unset pause on runstart, or set it if doing an explicit `begin(paused=True)` Offen
ISISComputingGroup/DataStreaming#109 · 1 Kommentar · 1 zugewiesene Person ·