apache/pinot

Support cleaning up segments when a batch build fails

Open

#8.864 aberto em 8 de jun. de 2022

Ver no GitHub
 (8 comments) (0 reactions) (1 assignee)Java (1.234 forks)batch import
good first issuehelp wanted

Métricas do repositório

Stars
 (4.937 stars)
Métricas de merge de PR
 (Mesclagem média 6d 7h) (186 fundiu PRs em 30d)

Description

Currently if segment generation fails for one of the input files, segments created from previous input files will be left in the output directory. A new cleanupOnFailure flag (default is false) would trigger the deletion of these segments. Note that clearing the output directory isn't acceptable, as there might be existing files.

This change would have to be applied to all batch segment generation plugins (stand-alone, Hadoop, Spark).

Guia do colaborador

Direção de pesquisa
Implemente uma flag booleana 'cleanupOnFailure' (padrão false) nos plugins de geração de segmentos em lote (stand alone, Hadoop, Spark). Em caso de falha na construção, exclua os segmentos criados para aquele lote sem excluir o diretório de saída. Garanta a segurança de threads e lide com falhas parciais.
Pilha de tecnologia
java
Domain
database
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
2
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-2 dias
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
Java
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
65