[FR] Consider adding extra info to the reducing variance doc relating to CPU frequency scaling
I maintainer di solito rispondono entro 1 giorno
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Idoneità per principianti
- 42/100
- Tipo di issue
- Documentazione
- Chiarezza
- Abbastanza chiara
- Stato di attività
- Ferma
- Stack tecnologico
- cloud
- Ambito
- cloud, documentation, performance
Direzione di ricerca
Inizia da docs/reducing_variance.md e rivedi le indicazioni esistenti sullo scaling della frequenza della CPU. Analizza i limiti e le possibili soluzioni per gli ambienti locali e cloud descritti nell’issue, incluse le VM cloud e le istanze bare-metal. Il lavoro sarà considerato completato quando il documento spiegherà chiaramente le differenze e le opzioni pratiche per ridurre la varianza dei benchmark in ciascun ambiente.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Is your feature request related to a problem? Please describe.
I'm trying to reduce variance in a benchmark, and doing all the things listed in the "reducing variance" doc, here [1].
This works fine on the box on my desk (where I have full control), but when I try and run it in the cloud then variance is back.
Why? AFAICT it's because the one "reducing variance" measure which does not appear to work with most cloud providers is pinning CPU frequency scaling.
And it doesn't seem to make a difference whether it's a regular cloud VM, or a cloud "bare metal" box.
I'm guessing this is because if you allow users to manipulate the CPU frequencies any way they like, then there is a risk of overheating the box?
Describe the solution you'd like
Add a section to the "reducing variance" doc [1], discussing the difficulties and possible solutions of implementing the measures locally versus in the cloud.
Describe alternatives you've considered
Have been Googling around a lot trying to find confirming or deny that "CPU frequency scaling" in some cloud provider somewhere works or doesn't work. Or that maybe local (non-cloud) benchmorks are the only way to go if CPU frequency scaling is needed?
Additional context
n/a
[1] https://github.com/google/benchmark/blob/main/docs/reducing_variance.md
- Lingua principale
- C++
- Stelle
- 10.5k
- Fork
- 1.8k
- Merge medio
- 1g 17h
- PR unite (30g)
- 30
Preparare l'ambiente
- Nessun Dockerfile né file Docker Compose
- Nessun modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di google/benchmark
-
[BUG] Memory manager counts allocations not part of benchmarkForse di nuovo libera Una pull request per questa issue è stata chiusa senza essere unita. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
google/benchmark#2149 · 5 commenti ·
I maintainer di solito rispondono entro 1 giorno
-
[FR] Add native Zig bindings via top-level `bindings/zig`Forse di nuovo libera Una pull request per questa issue è stata chiusa senza essere unita. Aperta
Difficoltà 5/5 Più di una settimana Idoneità per principianti 42/100
google/benchmark#2266 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 48/100
google/benchmark#2235 · 2 commenti ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 20/100
google/benchmark#2195 · 3 commenti ·
I maintainer di solito rispondono entro 1 giorno
-
[BUG] Minimum benchmark time with multiple threadsForse già presa @hahnjo l’ha presa 284 giorni fa. Aperta
Difficoltà 4/5 3-5 giorni Idoneità per principianti 45/100
google/benchmark#2117 · 2 commenti ·
I maintainer di solito rispondono entro 1 giorno
Tutte le issue di google/benchmark
Issue simili
-
bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 76/100
pocoproject/poco#5664 ·
I maintainer di solito rispondono entro 2 giorni
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
charmplusplus/charm#4210 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 88/100
cp-algorithms/cp-algorithms#1748 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 66/100
I maintainer di solito rispondono entro 1 giorno