增大并行度后ALL模式维表缓存带来的数据库连接及内存压力

Aperta
#300 2 commenti 0 reazioni 0 assegnatari Vedi su GitHub

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
5/5
Tempo stimato
Più di una settimana
Idoneità per principianti
25/100
Tipo di issue
Funzionalità
Chiarezza
Da chiarire
Stato di attività
Ferma
Stack tecnologico
java, sql
Ambito
databases, performance, stream-processing

Direzione di ricerca

Inizia individuando la cache della tabella delle dimensioni in modalità ALL implementata con flatMap, quindi traccia il modo in cui il parallelismo SQL fa sì che ogni task parallelo carichi i dati delle dimensioni. Analizza il comportamento esistente dell’aggiornamento pianificato e il modo in cui sono rappresentati i task manager e gli slot. Il lavoro è completato quando viene caricata una copia per task manager e gli aggiornamenti continuano a funzionare senza esaurire le connessioni al database né causare un uso eccessivo della memoria.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

源码中ALL模式维表缓存是个flatMap操作，当任务数据量和计算压力增大后，增大SQL的并行度，每个并行度都会去维表中加载数据，这样一个是容易出现把维表连接打满的情况，另一个就是带来不小的内存开销。

因为存在定时更新数据，广播可能不太好做，能否实现一个taskmanager只加载一份维表数据，而不是每个slot都去加载一遍

Lingua principale
Java
Stelle
2k
Fork
913
Nessuna PR unita negli ultimi 30g

Guida per i contributori

Nessuna guida per i contributori indicizzata per questo repository

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di DTStack/flinkStreamSQL

Tutte le issue di DTStack/flinkStreamSQL

Issue simili

Altre issue su Java

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.