增大并行度后ALL模式维表缓存带来的数据库连接及内存压力
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 5/5
- Tiempo estimado
- Más de una semana
- Aptitud para principiantes
- 25/100
- Tipo de issue
- Nueva funcionalidad
- Claridad
- Necesita aclaración
- Estado de actividad
- Estancado
Línea de trabajo
Empieza por localizar la caché de la tabla de dimensiones del modo ALL implementada con flatMap y, a continuación, sigue cómo el paralelismo de SQL hace que cada tarea paralela cargue los datos de dimensiones. Investiga el comportamiento existente de la actualización programada y cómo se representan los task managers y los slots. Se considera terminado cuando se carga una copia por task manager y las actualizaciones siguen funcionando sin agotar las conexiones de la base de datos ni provocar un uso excesivo de memoria.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
源码中ALL模式维表缓存是个flatMap操作，当任务数据量和计算压力增大后，增大SQL的并行度，每个并行度都会去维表中加载数据，这样一个是容易出现把维表连接打满的情况，另一个就是带来不小的内存开销。
因为存在定时更新数据，广播可能不太好做，能否实现一个taskmanager只加载一份维表数据，而不是每个slot都去加载一遍
- Lenguaje dominante
- Java
- Estrellas
- 2k
- Forks
- 913
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Guía de contribución
No hay ninguna guía de contribución indexada para este repositorio
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de DTStack/flinkStreamSQL
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 20/100
DTStack/flinkStreamSQL#467 · 1 comentario ·
-
这个如何引入使用flink-connector-hive啊 Abierto
Dificultad 4/5 3-5 días Aptitud para principiantes 25/100
DTStack/flinkStreamSQL#437 · 3 comentarios ·
-
Dificultad 3/5 1-2 días Aptitud para principiantes 38/100
DTStack/flinkStreamSQL#432 · 1 comentario ·
-
新版FlinkStreamSQL已经融合进FlinkX项目 Abierto
Dificultad 5/5 Más de una semana Aptitud para principiantes 15/100
DTStack/flinkStreamSQL#431 ·
-
有无对sql 语法校验的方法 Abierto
Dificultad 5/5 Más de una semana Aptitud para principiantes 15/100
DTStack/flinkStreamSQL#430 · 1 comentario ·
Todos los issues de DTStack/flinkStreamSQL
Issues similares
-
bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 85/100
-
Two open-case totals on one screen: the Programs tile says 15,858 and the nav badge says 15,868 Abiertobug frontend maui-pilot
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
objectionary/eo-graphs#74 ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 65/100