`filewriter`: deployment topology
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Idoneità per principianti
- 25/100
- Tipo di issue
- Funzionalità
- Chiarezza
- Da chiarire
- Stato di attività
- Tranquilla
- Ambito
- distributed-systems
Direzione di ricerca
Inizia leggendo le alternative di topologia di deployment descritte in questa issue, quindi esamina le issue collegate #96 e #85 per individuare i vincoli correlati. Individua in che modo l’architettura scelta deve supportare HRPD-X, SANDALS2, WISH e VESUVIO rimanendo al contempo estensibile verso MNeuData; il lavoro è completato quando l’architettura è stata concordata e documentata.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
We need to define how the filewriter and other cooperating processes will run.
- One-per-instrument: each FW process incrementally writing out the events from a single instrument
- Pooled: some number, perhaps dynamic, of filewriters which may pick up a writing job from any instrument. This is the architecture that ESS use.
Things to consider:
- Pooled architecture is a requirement if we might ever collect data faster than it can be written to disk. This seems unlikely at present.
- Consider interaction with https://github.com/ISISComputingGroup/DataStreaming/issues/96 ; this likely makes a pooled architecture more desirable
- Needs to work for HRPD-X/SANDALS2/WISH/VESUVIO etc before MNeuData is available. We do not need to solve the MNeuData case in this issue, but we should pick an architecture which makes it possible to extend in likely MNeuData directions later.
- Consider interaction with https://github.com/ISISComputingGroup/DataStreaming/issues/85
- Lingua principale
- Nessun dato sulla lingua
- Stelle
- 0
- Fork
- 0
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Guida per i contributori
Nessuna guida per i contributori indicizzata per questo repository
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di ISISComputingGroup/DataStreaming
-
ISISComputingGroup/DataStreaming#115 · 1 assegnatario ·
-
ISISComputingGroup/DataStreaming#114 · 1 assegnatario ·
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 35/100
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 45/100
-
Difficoltà 3/5 1-2 giorni Idoneità per principianti 48/100
Tutte le issue di ISISComputingGroup/DataStreaming
Issue simili
-
bug customer-eng Durable Agents Inngest status: needs triage
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
-
ai_reviewed
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
ydb-platform/ydb#53838 · 3 commenti ·
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
NovaSky-AI/SkyRL#2263 ·
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
johanhaleby/occurrent#1106 ·
-
ShuffleManagerRegistry.register recursion guard is inverted, permits GlutenShuffleManager subclasses Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100