Improve primary keys of clickhouse tables
维护者通常 2 天内回复
还没有人认领这个 Issue。
评估
- 难度
- 5/5
- 预计耗时
- 一周以上
- 新手友好度
- 35/100
- Issue 类型
- 重构
- 描述清晰度
- 需要澄清
- 活跃度
- 冷清
- 技术栈
- clickhouse, sql
- 领域
- databases, performance
调研方向
首先定位 issue 中所示的 obs_web 和 analysis_web_measurement 表的 ClickHouse 定义。检查它们当前的 PRIMARY KEY 和 ORDER BY 选择，然后为列出的过滤器确定替代键，并规划将数据复制到新表中。完成的标准是替代表已填充数据，并且常见的 measurement_start_time、probe_cc、probe_asn 和 domain 查询不再需要实际上接近全表扫描。
由索引模型根据 Issue 内容生成。
描述
Some of the DB tables could have their PRIMARY KEYs changed to improve query performance.
For example the PRIMARY KEY of the obs_web table is this:
ENGINE = ReplicatedReplacingMergeTree('/clickhouse/{cluster}/tables/ooni/obs_web_repl/{shard}', '{replica}')
PARTITION BY concat(substring(bucket_date, 1, 4), substring(bucket_date, 6, 2))
PRIMARY KEY (measurement_uid, observation_idx)
while the analysis table is this:
ENGINE = ReplicatedReplacingMergeTree('/clickhouse/{cluster}/tables/ooni/analysis_web_measurement/{shard}', '{replica}')
PARTITION BY substring(measurement_uid, 1, 6)
PRIMARY KEY measurement_uid
ORDER BY (measurement_uid, measurement_start_time, probe_cc, probe_asn, domain)
What this means is that it's triggering very large scans (effectively a full scan), when performing very common filtering operations over the measurement_start_time, probe_cc, probe_asn and domain.
Unfortunately it's not possible to change these with an ALTER query, so instead we are going to have to create the new table and copy the data over.
- 主要语言
- HCL
- 星标
- 4
- 派生
- 16
- 平均合并
- 3 天 10 小时
- 30 天内合并 PR
- 11
环境准备
这个项目没有提供开发容器、Dockerfile 或贡献指南，环境需要你自己搭建：先看它的 README，通用步骤见我们的新手贡献指南。
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
ooni/devops 的其他 Issue
-
难度 3/5 1-2 天 新手友好度 58/100
维护者通常 2 天内回复
-
难度 5/5 一周以上 新手友好度 35/100
维护者通常 2 天内回复
-
难度 4/5 3-5 天 新手友好度 35/100
维护者通常 2 天内回复
-
难度 3/5 1-2 天 新手友好度 48/100
维护者通常 2 天内回复
-
难度 3/5 1-2 天 新手友好度 55/100
维护者通常 2 天内回复
相似的 Issue
-
read_messages: the first read after subscribe/psubscribe returns no messages even when some are waiting可能已有人在做 @matheussilvano 今天认领。 未关闭
难度 2/5 1-3 小时 新手友好度 82/100
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 72/100
维护者通常 4 天内回复
-
难度 2/5 1-3 小时 新手友好度 72/100
langchain-ai/langchain-redis#222 ·
维护者通常 2 天内回复
-
`BLMPOP` with COUNT 0 or numkeys 0 hangs可能已有人在做 @ggyuchive 今天认领。 未关闭bug
难度 2/5 1-3 小时 新手友好度 78/100
维护者通常 1 天内回复
-
enhancement needs-triage service/rds
难度 2/5 1-3 小时 新手友好度 72/100
hashicorp/terraform-provider-aws#50782 · 1 条评论 ·
维护者通常 1 天内回复