Speed up the dashboard

オープン
#38 コメント 3 件 リアクション 0 件 担当者 0 名 GitHub で見る

まだ誰も着手していません。

評価

難易度
5/5
見積もり時間
1週間以上
初心者へのやさしさ
25/100
issue の種類
リファクタリング
明瞭さ
説明が足りない
活発さ
停滞
技術スタック
python

調査の方向性

まず、1.6MB と 3.3MB の CSV データセットを使ってダッシュボードのプロファイリングを行い、初期処理と color-by map の選択に焦点を当てます。Dash のパフォーマンスドキュメントを読み、そこで言及されている caching、Patch Class、orjson、clientside callback の各オプションを比較します。完了条件は、ボトルネックを特定し、ダッシュボードを壊すことなく、より高速な読み込みとマップ更新を実証することです。

索引モデルが issue の本文から書いたものです。

説明

enhancement

Currently, the dashboard starts to slow down with datasets at about 1.6MB, this becomes more pronounced by 3.3MB (CSV with about 12,000 rows by 15 columns).

The slow down is most pronounced in

  1. Initial processing of the dataset (hence we have a loading indicator).
  2. Selecting different color-by options for the map distribution; the change in the map has a pronounced delay.

Diagnosing the specific source of the slow down (if it's one or more reasons) is still required.

The Dash documentation provides various suggestions under their performance section, and the dash-extensions package also has some options:

  1. Flask caching. Since the processing is only done once, this would only have potential to speed up the graphing components, though initial testing didn't seem to show improvement.
    a. A similar solution is background caching.
    b. Dash-extensions has a package for server-side caching: ServersideOutput Transform. This removes the need for JSON serialization between callbacks and should speed things up, though I'm not sure how effective it was (I tried an implementation on the server-store branch). This would also require a regular clean-up of the cached files (as with the previous two).
  2. Dash Patch Class for updating the map (and potentially other graphs as well). Plotly express is fast, but starts to slow down around 15K points (per dash performance docs). I attempted to implement this with the map, but my initial attempt was unsuccessful.
  3. Using orjson. I'm unclear on precisely how this potential solution works, it seems (and this) that having the package installed allows dash to serialize json strings with orjson instead. There are errors thrown if you try to use it for the serialization (the speedup comes from the fact that it's bytes).
  4. Clientside Callbacks. To implement this, the graphing portion would have to be translated into Javascript.
主要言語
Python
スター
6
フォーク
2
PR マージ指標
30日以内にマージされた PR はありません

環境構築

  • Dockerfile または Docker Compose ファイルあり
  • プルリクエストのテンプレートなし
  • コントリビューションガイドなし

はじめの一歩

  1. issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
  2. 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
  3. リポジトリをフォークし、ブランチを切って変更します。
  4. issue 番号を参照したプルリクエストを送ります。

Imageomics/dashboard-prototype のほかの issue

Imageomics/dashboard-prototype の issue をすべて見る

似ている issue

Python の issue をもっと見る

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。