`filewriter`: deployment topology
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 5/5
- Thời gian dự kiến
- Hơn một tuần
- Mức phù hợp với người mới
- 25/100
- Loại issue
- Tính năng
- Độ rõ ràng
- Cần làm rõ
- Mức độ hoạt động
- Ít trao đổi
- Lĩnh vực
- distributed-systems
Hướng nghiên cứu
Bắt đầu bằng việc đọc các phương án deployment topology trong issue này, sau đó xem xét các issue liên quan #96 và #85 để tìm các ràng buộc liên quan. Xác định kiến trúc được chọn phải hỗ trợ HRPD-X, SANDALS2, WISH và VESUVIO như thế nào, đồng thời vẫn có thể mở rộng theo hướng MNeuData; công việc được coi là hoàn tất khi kiến trúc đã được thống nhất và dokument hóa.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
We need to define how the filewriter and other cooperating processes will run.
- One-per-instrument: each FW process incrementally writing out the events from a single instrument
- Pooled: some number, perhaps dynamic, of filewriters which may pick up a writing job from any instrument. This is the architecture that ESS use.
Things to consider:
- Pooled architecture is a requirement if we might ever collect data faster than it can be written to disk. This seems unlikely at present.
- Consider interaction with https://github.com/ISISComputingGroup/DataStreaming/issues/96 ; this likely makes a pooled architecture more desirable
- Needs to work for HRPD-X/SANDALS2/WISH/VESUVIO etc before MNeuData is available. We do not need to solve the MNeuData case in this issue, but we should pick an architecture which makes it possible to extend in likely MNeuData directions later.
- Consider interaction with https://github.com/ISISComputingGroup/DataStreaming/issues/85
- Ngôn ngữ chính
- Không có dữ liệu ngôn ngữ
- Star
- 0
- Fork
- 0
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Hướng dẫn đóng góp
Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của ISISComputingGroup/DataStreaming
-
ISISComputingGroup/DataStreaming#115 · 1 người được giao ·
-
Filewriter: implement structure Đang mở
ISISComputingGroup/DataStreaming#114 · 1 người được giao ·
-
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 35/100
-
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 45/100
-
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 48/100
Tất cả issue của ISISComputingGroup/DataStreaming
Issue tương tự
-
bug customer-eng Durable Agents Inngest status: needs triage
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 82/100
-
ai_reviewed
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 68/100
ydb-platform/ydb#53838 · 3 bình luận ·
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 82/100
NovaSky-AI/SkyRL#2263 ·
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100
johanhaleby/occurrent#1106 ·
-
ShuffleManagerRegistry.register recursion guard is inverted, permits GlutenShuffleManager subclasses Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100