增大并行度后ALL模式维表缓存带来的数据库连接及内存压力
Personne n'a encore pris cette issue.
Évaluation
- Difficulté
- 5/5
- Temps estimé
- Plus d'une semaine
- Accessibilité débutants
- 25/100
- Type d'issue
- Fonctionnalité
- Clarté
- À clarifier
- Activité
- À l'abandon
- Domaine
- databases, performance, stream-processing
Piste de recherche
Commencez par localiser le cache de la table de dimensions du mode ALL implémenté avec flatMap, puis suivez comment le parallélisme SQL amène chaque tâche parallèle à charger les données de dimensions. Examinez le comportement existant de l’actualisation planifiée et la manière dont les task managers et les slots sont représentés. Le travail est considéré comme terminé lorsqu’une copie est chargée par task manager et que les actualisations continuent de fonctionner sans épuiser les connexions à la base de données ni provoquer une utilisation excessive de la mémoire.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Description
源码中ALL模式维表缓存是个flatMap操作，当任务数据量和计算压力增大后，增大SQL的并行度，每个并行度都会去维表中加载数据，这样一个是容易出现把维表连接打满的情况，另一个就是带来不小的内存开销。
因为存在定时更新数据，广播可能不太好做，能否实现一个taskmanager只加载一份维表数据，而不是每个slot都去加载一遍
- Langage dominant
- Java
- Étoiles
- 2k
- Forks
- 913
- Métriques de merge des PR
- Aucune PR mergée en 30 j
Guide de contribution
Aucun guide de contribution indexé pour ce dépôt
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Autres issues de DTStack/flinkStreamSQL
-
Difficulté 5/5 Plus d'une semaine Accessibilité débutants 20/100
DTStack/flinkStreamSQL#467 · 1 commentaire ·
-
这个如何引入使用flink-connector-hive啊 Ouverte
Difficulté 4/5 3-5 jours Accessibilité débutants 25/100
DTStack/flinkStreamSQL#437 · 3 commentaires ·
-
Difficulté 3/5 1-2 jours Accessibilité débutants 38/100
DTStack/flinkStreamSQL#432 · 1 commentaire ·
-
新版FlinkStreamSQL已经融合进FlinkX项目 Ouverte
Difficulté 5/5 Plus d'une semaine Accessibilité débutants 15/100
DTStack/flinkStreamSQL#431 ·
-
有无对sql 语法校验的方法 Ouverte
Difficulté 5/5 Plus d'une semaine Accessibilité débutants 15/100
DTStack/flinkStreamSQL#430 · 1 commentaire ·
Toutes les issues de DTStack/flinkStreamSQL
Issues similaires
-
certification
Difficulté 1/5 Moins d'une heure Accessibilité débutants 80/100
-
Difficulté 2/5 1-3 heures Accessibilité débutants 75/100
-
[BUG] ECR GetAuthorizationToken returns a proxyEndpoint for the default region, not the request's Ouvertebug ecr
Difficulté 2/5 1-3 heures Accessibilité débutants 75/100
-
Needs: Triage Type: Feature request
Difficulté 2/5 1-3 heures Accessibilité débutants 70/100
AntennaPod/AntennaPod#8794 ·
-
agentic-workflows
Difficulté 2/5 1-3 heures Accessibilité débutants 65/100
github/copilot-sdk#2760 ·