`kafka_event_aggregator`: backpressure
Dieses Issue hat noch niemand übernommen.
Bewertung
- Schwierigkeit
- 5/5
- Geschätzter Aufwand
- Über eine Woche
- Anfängerfreundlichkeit
- 45/100
- Issue-Typ
- Feature
- Klarheit
- Größtenteils klar
- Aktivitätsstatus
- Aktiv
- Tech-Stack
- kafka
- Bereich
- stream-processing
Rechercherichtung
Beginne beim Einstiegspunkt kafka_event_aggregator und verfolge, wie die Größe der Producer-Warteschlange, die Lesevorgänge des Consumers und Frame-Grenzen gehandhabt werden. Definiere die N/M-Schwellenwerte und bestätige, wie das Pausieren mitten in einem Frame funktionieren sollte; abgeschlossen ist die Arbeit, wenn das Pausieren und die Wiederherstellung des Consumers, Warnungen und Pausenmetriken implementiert sind, ohne partielle Frames zu verlieren oder falsch zu behandeln.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Beschreibung
If producer queue fills beyond N bytes, pause consumer until it recovers to less than M bytes (and provide warnings + metrics about consumer pause).
(need to consider behaviour on pausing consumer mid-frame - we are likely to get partial frames in that case)
- Vorherrschende Sprache
- Keine Sprachdaten
- Sterne
- 0
- Forks
- 0
- PR-Merge-Kennzahlen
- Keine gemergten PRs in 30 T.
Beitragsleitfaden
Für dieses Repository ist kein Beitragsleitfaden indexiert
Erste Schritte
- Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
- Forken Sie das Repository und arbeiten Sie in einem Branch.
- Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.
Mehr aus ISISComputingGroup/DataStreaming
-
ISISComputingGroup/DataStreaming#115 · 1 zugewiesene Person ·
-
ISISComputingGroup/DataStreaming#114 · 1 zugewiesene Person ·
-
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 35/100
-
Schwierigkeit 3/5 1-2 Tage Anfängerfreundlichkeit 48/100
-
`kafka_dae_control`: unset pause on runstart, or set it if doing an explicit `begin(paused=True)` Offen
ISISComputingGroup/DataStreaming#109 · 1 Kommentar · 1 zugewiesene Person ·
Alle Issues in ISISComputingGroup/DataStreaming
Ähnliche Issues
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 78/100
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 86/100
membraneframework/boombox#149 · 1 zugewiesene Person ·
-
automation flaky-test Integration:kafka_input_otel Team:obs-ds-intake-services
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 70/100
elastic/integrations#21346 ·
-
priority: P2
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 72/100
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 82/100
vectordotdev/vector#26389 ·