pingcap/tidb

use external storage to reduce the memory space usage of some executors

Open

#14,392 创建于 2020年1月8日

在 GitHub 查看
 (1 评论) (0 反应) (0 负责人)Go (6,186 fork)batch import
epic/memory-managementhelp wantedsig/executiontype/enhancement

仓库指标

Star
 (40,090 star)
PR 合并指标
 (平均合并 14天 4小时) (30 天内合并 346 个 PR)

描述

Feature Request

Is your feature request related to a problem? Please describe:

As the title says.

Describe the feature you'd like:

issue difficulty assignee PRs
[ ] #TODO Use external storage for Index Merge Join hard help wanted N/A
[ ] #14675 implement grace hash join for Hash Join to avoid OOM of hash table hard help wanted N/A
[ ] #14413 Use external storage for Hash Aggregation hard help wanted N/A
[ ] #14395 Use external storage for Distinct hard help wanted N/A
[x] #12431 Use external storage for Sort medium @wshwsh12 #13718, #14279
[ ] #TODO Use external storage for Window Function medium help wanted N/A
[ ] #TODO Compare between row-based and vectorized external storage format for different executors hard help wanted N/A

Describe alternatives you've considered:

Teachability, Documentation, Adoption, Migration Strategy:

贡献者指南

研究方向
首先，请回顾现有的 Sort 执行器外部存储实现（issue #12431，PRs #13718, #14279）以了解其方法。然后，检查代码库中如 Index Merge Join、Hash Join 和 Hash Aggregation 等执行器，以识别内存使用热点。在 TiDB 源代码中查找存储接口，并考虑如何在超出内存限制时将数据溢出到磁盘。此 issue 包含多个带有难度评级的子任务；请专注于一个标记为 'help wanted' 状态的执行器。
技术栈
go
领域
database
议题类型
功能
难度面向新贡献者的预计实现难度，1 表示很小改动，5 表示专家级工作。
3
预计时间有经验贡献者完成调查、实现、测试并准备 pull request 的粗略时间范围。
超过 1 周
活动状态议题当前的可参与程度：新鲜、活跃、陈旧、阻塞或等待维护者输入。
活跃
清晰度议题是否清楚说明期望改动、验收标准和下一步。
清晰
前置要求
GoSQL
新手友好度1-100 的估计分数，表示该议题对首次贡献者的友好程度。
30