ipfs/kubo

Tune batch add parallelism constant

Open

#4,299 创建于 2017年10月11日

在 GitHub 查看
 (0 评论) (0 反应) (0 负责人)Go (2,725 fork)batch import
help wantedstatus/deferredtopic/perf

仓库指标

Star
 (13,906 star)
PR 合并指标
 (平均合并 4天 2小时) (30 天内合并 28 个 PR)

描述

Specifically, tune the ParallelBatchCommits constant added in #4296. Right now, we just use NumCPU*2 but we could probably do something fancier (learn it? does the datastore matter? does the storage medium matter? how about the filesystem?).

We may never get to this but hey, if anyone wants to spend some time experimenting they're free to take a crack at it.

贡献者指南

研究方向
研究在 #4296 中添加的 `ParallelBatchCommits` 常量。尝试不同的值，并测量其在各种数据存储、存储介质和文件系统上的性能。考虑基于运行时指标实现自适应调优。请参考代码库中该常量在批量添加操作中的使用方式。
技术栈
go
领域
backendperformance
议题类型
性能
难度面向新贡献者的预计实现难度，1 表示很小改动，5 表示专家级工作。
3
预计时间有经验贡献者完成调查、实现、测试并准备 pull request 的粗略时间范围。
1-2 天
活动状态议题当前的可参与程度：新鲜、活跃、陈旧、阻塞或等待维护者输入。
活跃
清晰度议题是否清楚说明期望改动、验收标准和下一步。
基本清晰
前置要求
Go
新手友好度1-100 的估计分数，表示该议题对首次贡献者的友好程度。
30