[FR] Consider adding extra info to the reducing variance doc relating to CPU frequency scaling
维护者通常 1 天内回复
还没有人认领这个 Issue。
评估
- 难度
- 4/5
- 预计耗时
- 3-5 天
- 新手友好度
- 42/100
- Issue 类型
- 文档
- 描述清晰度
- 基本清楚
- 活跃度
- 停滞
- 技术栈
- cloud
调研方向
从 docs/reducing_variance.md 开始，检查其中现有的 CPU 频率缩放指南。研究 issue 中描述的本地环境与云环境的限制及可能的解决方案，包括云 VM 和裸机实例。完成的标准是文档清楚地说明每种环境之间的差异，以及降低基准测试方差的实际选项。
由索引模型根据 Issue 内容生成。
描述
Is your feature request related to a problem? Please describe.
I'm trying to reduce variance in a benchmark, and doing all the things listed in the "reducing variance" doc, here [1].
This works fine on the box on my desk (where I have full control), but when I try and run it in the cloud then variance is back.
Why? AFAICT it's because the one "reducing variance" measure which does not appear to work with most cloud providers is pinning CPU frequency scaling.
And it doesn't seem to make a difference whether it's a regular cloud VM, or a cloud "bare metal" box.
I'm guessing this is because if you allow users to manipulate the CPU frequencies any way they like, then there is a risk of overheating the box?
Describe the solution you'd like
Add a section to the "reducing variance" doc [1], discussing the difficulties and possible solutions of implementing the measures locally versus in the cloud.
Describe alternatives you've considered
Have been Googling around a lot trying to find confirming or deny that "CPU frequency scaling" in some cloud provider somewhere works or doesn't work. Or that maybe local (non-cloud) benchmorks are the only way to go if CPU frequency scaling is needed?
Additional context
n/a
[1] https://github.com/google/benchmark/blob/main/docs/reducing_variance.md
- 主要语言
- C++
- 星标
- 10.5k
- 派生
- 1.8k
- 平均合并
- 1 天 17 小时
- 30 天内合并 PR
- 30
环境准备
- 没有 Dockerfile 或 Docker Compose 文件
- 没有 Pull Request 模板
- 阅读贡献指南
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
google/benchmark 的其他 Issue
-
[BUG] Memory manager counts allocations not part of benchmark可能重新可做 关联的 PR 已关闭且未合并。 未关闭
难度 2/5 1-3 小时 新手友好度 68/100
google/benchmark#2149 · 5 条评论 ·
维护者通常 1 天内回复
-
[FR] Add native Zig bindings via top-level `bindings/zig`可能重新可做 关联的 PR 已关闭且未合并。 未关闭
难度 5/5 一周以上 新手友好度 42/100
google/benchmark#2266 · 1 条评论 ·
维护者通常 1 天内回复
-
难度 4/5 3-5 天 新手友好度 48/100
google/benchmark#2235 · 2 条评论 ·
维护者通常 1 天内回复
-
难度 5/5 一周以上 新手友好度 20/100
google/benchmark#2195 · 3 条评论 ·
维护者通常 1 天内回复
-
[BUG] Minimum benchmark time with multiple threads可能已有人在做 @hahnjo 于 284 天前认领。 未关闭
难度 4/5 3-5 天 新手友好度 45/100
google/benchmark#2117 · 2 条评论 ·
维护者通常 1 天内回复
相似的 Issue
-
area/ysql kind/bug priority/medium status/awaiting-triage
难度 2/5 1-3 小时 新手友好度 78/100
yugabyte/yugabyte-db#37523 ·
维护者通常 1 天内回复
-
mlir
难度 2/5 1-3 小时 新手友好度 72/100
llvm/llvm-project#241070 · 1 条评论 ·
维护者通常 1 天内回复
-
backlog documentation
难度 1/5 1 小时以内 新手友好度 96/100
EchoTools/nevr-runtime#2354 ·
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 75/100
维护者通常 1 天内回复
-
help wanted new command
难度 2/5 1-3 小时 新手友好度 76/100
tldr-pages/tldr#25111 ·
维护者通常 1 天内回复