`filewriter`: deployment topology

オープン

#98 2026年7月27日に作成コメント 5 件リアクション 0 件担当者 0 名 GitHub で見る

まだ誰も着手していません。

評価

難易度: 5/5
見積もり時間: 1週間以上
初心者へのやさしさ: 25/100

issue の種類: 機能追加
明瞭さ: 説明が足りない
活発さ: 静か
領域: distributed-systems

調査の方向性

まず、このIssueにあるdeployment topologyの代替案を読み、その後、関連する制約についてリンクされているIssue #96と#85を確認します。選択したアーキテクチャが、MNeuDataに向けて拡張可能な状態を保ちながら、HRPD-X、SANDALS2、WISH、VESUVIOをどのようにサポートする必要があるかを特定します。アーキテクチャについて合意し、文書化されれば完了です。

索引モデルが issue の本文から書いたものです。

説明

filewriter

We need to define how the filewriter and other cooperating processes will run.

One-per-instrument: each FW process incrementally writing out the events from a single instrument
Pooled: some number, perhaps dynamic, of filewriters which may pick up a writing job from any instrument. This is the architecture that ESS use.

Things to consider:

Pooled architecture is a requirement if we might ever collect data faster than it can be written to disk. This seems unlikely at present.
Consider interaction with https://github.com/ISISComputingGroup/DataStreaming/issues/96 ; this likely makes a pooled architecture more desirable
Needs to work for HRPD-X/SANDALS2/WISH/VESUVIO etc before MNeuData is available. We do not need to solve the MNeuData case in this issue, but we should pick an architecture which makes it possible to extend in likely MNeuData directions later.
Consider interaction with https://github.com/ISISComputingGroup/DataStreaming/issues/85

主要言語: 言語のデータがありません
スター: 0
フォーク: 0
PR マージ指標: 30日以内にマージされた PR はありません

コントリビューションガイド

このリポジトリのコントリビューションガイドは索引されていません

はじめの一歩

issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
リポジトリをフォークし、ブランチを切って変更します。
issue 番号を参照したプルリクエストを送ります。

ISISComputingGroup/DataStreaming のほかの issue

Investigate refactoring vs replacing forwarder オープン

ISISComputingGroup/DataStreaming#115 · 担当者 1 名 · 2026年9月21日に作成
Filewriter: implement structure オープン

ISISComputingGroup/DataStreaming#114 · 担当者 1 名 · 2026年9月18日に作成
Implement process talking to low-level detector modules オープン

難易度 4/5 3〜5日初心者へのやさしさ 35/100

ISISComputingGroup/DataStreaming#113 · 2026年9月15日に作成
`kafka_event_aggregator`: backpressure オープン

難易度 5/5 1週間以上初心者へのやさしさ 45/100

ISISComputingGroup/DataStreaming#111 · 2026年9月10日に作成
`kafka_event_aggregator`: improve metrics オープン

難易度 3/5 1〜2日初心者へのやさしさ 48/100

ISISComputingGroup/DataStreaming#112 · 2026年9月9日に作成

ISISComputingGroup/DataStreaming の issue をすべて見る

似ている issue

[BUG] @mastra/inngest: errors thrown inside durable steps lose their original stack (and error type) — Inngest only sees the wrapper frame オープン

bug customer-eng Durable Agents Inngest status: needs triage

難易度 2/5 1〜3時間初心者へのやさしさ 82/100

mastra-ai/mastra#24748 · コメント 1 件 · 2026年9月22日に作成
Mute ydb/core/kqp/ut/federated_query/datastreams 5 tests in main オープン

ai_reviewed

難易度 2/5 1〜3時間初心者へのやさしさ 68/100

ydb-platform/ydb#53838 · コメント 3 件 · 2026年9月22日に作成
pad_training_input_batch pads TensorList fields with tensor[0].clone() — loss-masked pad rows carry a real row's payload (ragged-consumer crash; wrong pixel_values/image_grid_thw on pad rows) オープン

難易度 2/5 1〜3時間初心者へのやさしさ 82/100

NovaSky-AI/SkyRL#2263 · 2026年9月22日に作成
A RabbitMQ bridge can keep a stale consumer tag and never consume again オープン

難易度 2/5 1〜3時間初心者へのやさしさ 75/100

johanhaleby/occurrent#1106 · 2026年9月22日に作成
ShuffleManagerRegistry.register recursion guard is inverted, permits GlutenShuffleManager subclasses オープン

難易度 2/5 1〜3時間初心者へのやさしさ 78/100

apache/gluten#13099 · 2026年9月22日に作成

Distributed Systems の issue をもっと見る