增大并行度后ALL模式维表缓存带来的数据库连接及内存压力
まだ誰も着手していません。
評価
- 難易度
- 5/5
- 見積もり時間
- 1週間以上
- 初心者へのやさしさ
- 25/100
- issue の種類
- 機能追加
- 明瞭さ
- 説明が足りない
- 活発さ
- 停滞
調査の方向性
まず、flatMap で実装された ALL モードのディメンション・テーブル・キャッシュを見つけ、SQL の並列性によって各並列タスクがディメンション・データを読み込む仕組みを追跡します。既存のスケジュールされたリフレッシュの動作と、task manager および slot がどのように表現されているかを調査します。完了の条件は、task manager ごとに 1 つのコピーが読み込まれ、データベース接続を使い果たしたりメモリを過剰に使用したりすることなく、リフレッシュが引き続き機能することです。
索引モデルが issue の本文から書いたものです。
説明
源码中ALL模式维表缓存是个flatMap操作，当任务数据量和计算压力增大后，增大SQL的并行度，每个并行度都会去维表中加载数据，这样一个是容易出现把维表连接打满的情况，另一个就是带来不小的内存开销。
因为存在定时更新数据，广播可能不太好做，能否实现一个taskmanager只加载一份维表数据，而不是每个slot都去加载一遍
- 主要言語
- Java
- スター
- 2k
- フォーク
- 913
- PR マージ指標
- 30日以内にマージされた PR はありません
コントリビューションガイド
このリポジトリのコントリビューションガイドは索引されていません
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
DTStack/flinkStreamSQL のほかの issue
-
難易度 5/5 1週間以上 初心者へのやさしさ 20/100
DTStack/flinkStreamSQL#467 · コメント 1 件 ·
-
難易度 4/5 3〜5日 初心者へのやさしさ 25/100
DTStack/flinkStreamSQL#437 · コメント 3 件 ·
-
難易度 3/5 1〜2日 初心者へのやさしさ 38/100
DTStack/flinkStreamSQL#432 · コメント 1 件 ·
-
難易度 5/5 1週間以上 初心者へのやさしさ 15/100
DTStack/flinkStreamSQL#431 ·
-
有无对sql 语法校验的方法 オープン
難易度 5/5 1週間以上 初心者へのやさしさ 15/100
DTStack/flinkStreamSQL#430 · コメント 1 件 ·
DTStack/flinkStreamSQL の issue をすべて見る
似ている issue
-
bug
難易度 2/5 1〜3時間 初心者へのやさしさ 85/100
-
Two open-case totals on one screen: the Programs tile says 15,858 and the nav badge says 15,868 オープンbug frontend maui-pilot
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
-
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100
objectionary/eo-graphs#74 ·
-
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
-
難易度 2/5 1〜3時間 初心者へのやさしさ 65/100