apache/pinot

Support cleaning up segments when a batch build fails

Open

#8864 aperta il 8 giu 2022

Vedi su GitHub
 (8 commenti) (0 reazioni) (1 assegnatario)Java (1234 fork)batch import
good first issuehelp wanted

Metriche repository

Star
 (4937 star)
Metriche merge PR
 (Merge medio 6g 7h) (186 PR mergiate in 30 g)

Descrizione

Currently if segment generation fails for one of the input files, segments created from previous input files will be left in the output directory. A new cleanupOnFailure flag (default is false) would trigger the deletion of these segments. Note that clearing the output directory isn't acceptable, as there might be existing files.

This change would have to be applied to all batch segment generation plugins (stand-alone, Hadoop, Spark).

Guida contributor

Direzione di ricerca
Implementa un flag booleano 'cleanupOnFailure' (default false) nei plugin di generazione di segmenti batch (stand alone, Hadoop, Spark). In caso di errore di build, elimina i segmenti creati per quel batch senza eliminare la directory di output. Garantisci la sicurezza dei thread e gestisci i fallimenti parziali.
Tech stack
java
Dominio
database
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
Java
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
65