apple/foundationdb

DD: Build teams in batches to avoid slow task from DD

Open

#2 102 ouverte le 12 sept. 2019

Voir sur GitHub
 (3 commentaires) (0 réactions) (0 assignés)C++ (1 266 forks)batch import
data distributiongood first issue

Métriques du dépôt

Stars
 (13 912 stars)
Métriques de merge PR
 (Merge moyen 4j 12h) (126 PRs mergées en 30 j)

Description

The current DD build all required teams in one big atomic block.

When there are a lot of teams to build, say over 6000 teams, DD will take tens of seconds (say 20 seconds) to build all teams without yield. This leads to slow task which makes DD non-responsive to other requests, such as heart beat. Slow tasks can lead to problems: such as cluster controller can mark a live DD as dead, and data balance can be blocked.

The solution to this issue is to break the non-stopping block of buildTeams() into smaller asynchronous blocks. When a lot of teams are to build, buildTeams() will build some of them (say 100 teams) and yield. Later, buildTeams() build another batch of teams.

This issue is related to Issue #2096.

Guide contributeur

Direction de recherche
Examinez la fonction buildTeams() dans le composant Data Distributor (DD). Observez comment les équipes sont actuellement construites de manière atomique. Envisagez de diviser le travail en lots de 100 équipes en utilisant des opérations asynchrones. Consultez l'issue #2096 pour le contexte associé. Assurez vous que le traitement par lots n'introduit pas de conditions de course ou d'interblocages. Testez avec un grand nombre d'équipes pour vérifier l'amélioration des performances.
Stack technique
cpp
Domaine
databaseperformance
Type d'issue
Performance
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
Une demi journée
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Ancienne
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
C++ programmingFoundationDB architectureasynchronous programming concepts
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
35