增大并行度后ALL模式维表缓存带来的数据库连接及内存压力
还没有人认领这个 Issue。
评估
- 难度
- 5/5
- 预计耗时
- 一周以上
- 新手友好度
- 25/100
- Issue 类型
- 功能
- 描述清晰度
- 需要澄清
- 活跃度
- 停滞
调研方向
首先定位使用 flatMap 实现的 ALL 模式维度表缓存，然后跟踪 SQL 并行度如何导致每个并行任务都加载维度数据。调查现有的计划刷新行为，以及 task manager 和 slot 的表示方式。完成的标准是每个 task manager 加载一份副本，同时刷新继续正常工作，不耗尽数据库连接，也不会导致过度的内存使用。
由索引模型根据 Issue 内容生成。
描述
源码中ALL模式维表缓存是个flatMap操作，当任务数据量和计算压力增大后，增大SQL的并行度，每个并行度都会去维表中加载数据，这样一个是容易出现把维表连接打满的情况，另一个就是带来不小的内存开销。
因为存在定时更新数据，广播可能不太好做，能否实现一个taskmanager只加载一份维表数据，而不是每个slot都去加载一遍
- 主要语言
- Java
- 星标
- 2k
- 派生
- 913
- PR 合并指标
- 30 天内没有已合并 PR
贡献指南
这个仓库没有索引到贡献指南
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
DTStack/flinkStreamSQL 的其他 Issue
-
难度 5/5 一周以上 新手友好度 20/100
DTStack/flinkStreamSQL#467 · 1 条评论 ·
-
难度 4/5 3-5 天 新手友好度 25/100
DTStack/flinkStreamSQL#437 · 3 条评论 ·
-
难度 3/5 1-2 天 新手友好度 38/100
DTStack/flinkStreamSQL#432 · 1 条评论 ·
-
难度 5/5 一周以上 新手友好度 15/100
DTStack/flinkStreamSQL#431 ·
-
有无对sql 语法校验的方法 未关闭
难度 5/5 一周以上 新手友好度 15/100
DTStack/flinkStreamSQL#430 · 1 条评论 ·
查看 DTStack/flinkStreamSQL 的全部 Issue
相似的 Issue
-
难度 2/5 1-3 小时 新手友好度 75/100
elastic/gradle-plugins#157 ·
-
enhancement Tools
难度 1/5 1 小时以内 新手友好度 75/100
-
难度 2/5 1-3 小时 新手友好度 70/100
apache/rocketmq-dashboard#5008 ·
-
bug
难度 2/5 1-3 小时 新手友好度 75/100
-
DETECT_PARAMETER_NAMES=false silently disables @ConstructorProperties-based Creator detection too 未关闭
难度 2/5 1-3 小时 新手友好度 70/100
FasterXML/jackson-databind#6229 ·