apple/foundationdb

DD: Build teams in batches to avoid slow task from DD

Open

#2102 aperta il 12 set 2019

Vedi su GitHub
 (3 commenti) (0 reazioni) (0 assegnatari)C++ (1266 fork)batch import
data distributiongood first issue

Metriche repository

Star
 (13.912 star)
Metriche merge PR
 (Merge medio 4g 12h) (126 PR mergiate in 30 g)

Descrizione

The current DD build all required teams in one big atomic block.

When there are a lot of teams to build, say over 6000 teams, DD will take tens of seconds (say 20 seconds) to build all teams without yield. This leads to slow task which makes DD non-responsive to other requests, such as heart beat. Slow tasks can lead to problems: such as cluster controller can mark a live DD as dead, and data balance can be blocked.

The solution to this issue is to break the non-stopping block of buildTeams() into smaller asynchronous blocks. When a lot of teams are to build, buildTeams() will build some of them (say 100 teams) and yield. Later, buildTeams() build another batch of teams.

This issue is related to Issue #2096.

Guida contributor

Direzione di ricerca
Esamina la funzione buildTeams() nel componente Data Distributor (DD). Osserva come attualmente le squadre vengono costruite atomicamente. Considera di suddividere il lavoro in batch di 100 squadre utilizzando operazioni asincrone. Controlla l'issue #2096 per il contesto correlato. Assicurati che il batching non introduca race condition o deadlock. Testa con un gran numero di squadre per verificare il miglioramento delle prestazioni.
Tech stack
cpp
Dominio
databaseperformance
Tipo issue
Performance
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Mezza giornata
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Datata
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
C++ programmingFoundationDB architectureasynchronous programming concepts
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
35