ipfs/kubo

Tune batch add parallelism constant

Open

#4299 aperta il 11 ott 2017

Vedi su GitHub
 (0 commenti) (0 reazioni) (0 assegnatari)Go (2725 fork)batch import
help wantedstatus/deferredtopic/perf

Metriche repository

Star
 (13.906 star)
Metriche merge PR
 (Merge medio 4g 2h) (28 PR mergiate in 30 g)

Descrizione

Specifically, tune the ParallelBatchCommits constant added in #4296. Right now, we just use NumCPU*2 but we could probably do something fancier (learn it? does the datastore matter? does the storage medium matter? how about the filesystem?).

We may never get to this but hey, if anyone wants to spend some time experimenting they're free to take a crack at it.

Guida contributor

Direzione di ricerca
Indaga sulla costante `ParallelBatchCommits` aggiunta in #4296. Sperimenta con valori diversi e misura le prestazioni su vari datastore, supporti di archiviazione e file system. Considera l'implementazione di una regolazione adattiva basata su metriche di runtime. Fai riferimento al codice sorgente per come la costante viene utilizzata nelle operazioni di aggiunta in batch.
Tech stack
go
Dominio
backendperformance
Tipo issue
Performance
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Abbastanza chiara
Prerequisiti
Go
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
30