Filewriter: implement structure
@Tom-Willemsen y travaille déjà.
Depuis le 18/9/2026.
Évaluation
Cette issue n'a pas encore été évaluée.
Description
Implement the initial top-level structure of the filewriter process, to prove that we have a design that will work in practice. This should follow DS ADR 10.
Should include:
- Trait definitions for writer modules
- Kafka-listening infrastructure (including pooled architecture)
- HDF5-writing infrastructure
- Including writing fully-static datasets/groups
- Infrastructure for parsing dynamically-provided
nexus_structure(part of run start)- Including configuration parameters for each writer module
- Logging
- Metrics
- Testing
- Including unit tests for individual writer modules
- Benchmarking
- Include a bench for each writer module
- Include one overall top-level bench for writing a small but representative file in-memory
- Docs
- Error propagation with appropriate context for debugging (likely miette + thiserror)
- Two different writer modules, which may write simple/incomplete data at this stage.
- E.g. simplified IXseblock and simplified NXevent_data
Functionally, the end point of this ticket is that we have a filewriter process that can listen to streams of data from Kafka and write some data from those streams, in a simplified/incomplete way, to a HDF5/NeXus file.
- Langage dominant
- Aucune donnée de langage
- Étoiles
- 0
- Forks
- 0
- Métriques de merge des PR
- Aucune PR mergée en 30 j
Guide de contribution
Aucun guide de contribution indexé pour ce dépôt
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Autres issues de ISISComputingGroup/DataStreaming
-
ISISComputingGroup/DataStreaming#115 · 1 personne assignée ·
-
Difficulté 4/5 3-5 jours Accessibilité débutants 35/100
-
Difficulté 5/5 Plus d'une semaine Accessibilité débutants 45/100
-
Difficulté 3/5 1-2 jours Accessibilité débutants 48/100
-
`kafka_dae_control`: unset pause on runstart, or set it if doing an explicit `begin(paused=True)` Ouverte
ISISComputingGroup/DataStreaming#109 · 1 commentaire · 1 personne assignée ·