ipfs/kubo

Tune batch add parallelism constant

Open

#4 299 ouverte le 11 oct. 2017

Voir sur GitHub
 (0 commentaires) (0 réactions) (0 assignés)Go (2 725 forks)batch import
help wantedstatus/deferredtopic/perf

Métriques du dépôt

Stars
 (13 906 stars)
Métriques de merge PR
 (Merge moyen 4j 2h) (28 PRs mergées en 30 j)

Description

Specifically, tune the ParallelBatchCommits constant added in #4296. Right now, we just use NumCPU*2 but we could probably do something fancier (learn it? does the datastore matter? does the storage medium matter? how about the filesystem?).

We may never get to this but hey, if anyone wants to spend some time experimenting they're free to take a crack at it.

Guide contributeur

Direction de recherche
Étudiez la constante `ParallelBatchCommits` ajoutée dans #4296. Expérimentez avec différentes valeurs et mesurez les performances sur divers magasins de données, supports de stockage et systèmes de fichiers. Envisagez de mettre en œuvre un réglage adaptatif basé sur des métriques d'exécution. Reportez vous à la base de code pour voir comment la constante est utilisée dans les opérations d'ajout par lots.
Stack technique
go
Domaine
backendperformance
Type d'issue
Performance
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-2 jours
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Plutôt claire
Prérequis
Go
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
30