apache/beam

Improve UnboundedSourceShard structure

Open

#18.122 geöffnet am 3. Juni 2022

Auf GitHub ansehen
 (0 Kommentare) (0 Reaktionen) (0 zugewiesene Personen)Java (4.097 Forks)batch import
P3directgood first issueimprovementrunners

Repository-Metriken

Stars
 (7.313 Stars)
PR-Merge-Metriken
 (Durchschn. Merge 6T) (243 gemergte PRs in 30 T)

Beschreibung

Use the 'OneOf' of "Active Reader" and "Optional<Checkpoint>", to make it obvious how to obtain and use a reader.

Maintain an ordered list of checkpoints that have not been finalized for a shard. Checkpoints that can be resumed from can also be finalized, but otherwise the two are unrelated. This also improves ease of never multi-finalizing a checkpoint. This gets more complicated with retries, but must be considered with the associated work required to make UnboundedReadEvaluatorFactory handle retries properly.

Imported from Jira BEAM-1659. Original Jira may contain additional context. Reported by: tgroh.

Contributor Guide

Research-Richtung
Studieren Sie die aktuelle Implementierung von UnboundedSourceShard, verstehen Sie das OneOf Muster, das für den aktiven Leser und den Checkpoint verwendet wird, und entwerfen Sie eine Struktur, die eine geordnete Liste nicht finalisierter Checkpoints verwaltet, während sichergestellt wird, dass keine Mehrfachfinalisierung erfolgt. Berücksichtigen Sie die Wiederholungsbehandlung in UnboundedReadEvaluatorFactory.
Tech Stack
java
Domain
backend
Issue Type
Refactoring
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
Halber Tag
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Frisch
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Recherche nötig
Voraussetzungen
JavaApache Beam source concepts
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
35