apache/beam

Improve UnboundedSourceShard structure

Open

#18 122 ouverte le 3 juin 2022

Voir sur GitHub
 (0 commentaires) (0 réactions) (0 assignés)Java (4 097 forks)batch import
P3directgood first issueimprovementrunners

Métriques du dépôt

Stars
 (7 313 stars)
Métriques de merge PR
 (Merge moyen 6j) (243 PRs mergées en 30 j)

Description

Use the 'OneOf' of "Active Reader" and "Optional<Checkpoint>", to make it obvious how to obtain and use a reader.

Maintain an ordered list of checkpoints that have not been finalized for a shard. Checkpoints that can be resumed from can also be finalized, but otherwise the two are unrelated. This also improves ease of never multi-finalizing a checkpoint. This gets more complicated with retries, but must be considered with the associated work required to make UnboundedReadEvaluatorFactory handle retries properly.

Imported from Jira BEAM-1659. Original Jira may contain additional context. Reported by: tgroh.

Guide contributeur

Direction de recherche
Étudiez l'implémentation actuelle de UnboundedSourceShard, comprenez le motif OneOf utilisé pour le lecteur actif et le point de contrôle, et concevez une structure pour maintenir une liste ordonnée de points de contrôle non finalisés tout en garantissant l'absence de multi finalisation. Prenez en compte la gestion des tentatives dans UnboundedReadEvaluatorFactory.
Stack technique
java
Domaine
backend
Type d'issue
Refactorisation
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
Une demi journée
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Récente
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Investigation requise
Prérequis
JavaApache Beam source concepts
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
35