apache/beam

Improve UnboundedSourceShard structure

Open

#18.122 aperta il 3 giu 2022

Vedi su GitHub
 (0 commenti) (0 reazioni) (0 assegnatari)Java (4097 fork)batch import
P3directgood first issueimprovementrunners

Metriche repository

Star
 (7313 star)
Metriche merge PR
 (Merge medio 6g) (243 PR mergiate in 30 g)

Descrizione

Use the 'OneOf' of "Active Reader" and "Optional<Checkpoint>", to make it obvious how to obtain and use a reader.

Maintain an ordered list of checkpoints that have not been finalized for a shard. Checkpoints that can be resumed from can also be finalized, but otherwise the two are unrelated. This also improves ease of never multi-finalizing a checkpoint. This gets more complicated with retries, but must be considered with the associated work required to make UnboundedReadEvaluatorFactory handle retries properly.

Imported from Jira BEAM-1659. Original Jira may contain additional context. Reported by: tgroh.

Guida contributor

Direzione di ricerca
Studia l'implementazione corrente di UnboundedSourceShard, comprendi il pattern OneOf utilizzato per il lettore attivo e il checkpoint, e progetta una struttura per mantenere un elenco ordinato di checkpoint non finalizzati, assicurando al contempo l'assenza di multi finalizzazioni. Considera la gestione dei retry in UnboundedReadEvaluatorFactory.
Tech stack
java
Dominio
backend
Tipo issue
Refactoring
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Mezza giornata
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Nuova
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Richiede indagine
Prerequisiti
JavaApache Beam source concepts
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
35