Speed up the dashboard
まだ誰も着手していません。
評価
- 難易度
- 5/5
- 見積もり時間
- 1週間以上
- 初心者へのやさしさ
- 25/100
- issue の種類
- リファクタリング
- 明瞭さ
- 説明が足りない
- 活発さ
- 停滞
- 技術スタック
- python
調査の方向性
まず、1.6MB と 3.3MB の CSV データセットを使ってダッシュボードのプロファイリングを行い、初期処理と color-by map の選択に焦点を当てます。Dash のパフォーマンスドキュメントを読み、そこで言及されている caching、Patch Class、orjson、clientside callback の各オプションを比較します。完了条件は、ボトルネックを特定し、ダッシュボードを壊すことなく、より高速な読み込みとマップ更新を実証することです。
索引モデルが issue の本文から書いたものです。
説明
Currently, the dashboard starts to slow down with datasets at about 1.6MB, this becomes more pronounced by 3.3MB (CSV with about 12,000 rows by 15 columns).
The slow down is most pronounced in
- Initial processing of the dataset (hence we have a loading indicator).
- Selecting different color-by options for the map distribution; the change in the map has a pronounced delay.
Diagnosing the specific source of the slow down (if it's one or more reasons) is still required.
The Dash documentation provides various suggestions under their performance section, and the dash-extensions package also has some options:
- Flask caching. Since the processing is only done once, this would only have potential to speed up the graphing components, though initial testing didn't seem to show improvement.
a. A similar solution is background caching.
b. Dash-extensions has a package for server-side caching: ServersideOutput Transform. This removes the need for JSON serialization between callbacks and should speed things up, though I'm not sure how effective it was (I tried an implementation on the server-store branch). This would also require a regular clean-up of the cached files (as with the previous two). - Dash Patch Class for updating the map (and potentially other graphs as well). Plotly express is fast, but starts to slow down around 15K points (per dash performance docs). I attempted to implement this with the map, but my initial attempt was unsuccessful.
- Using orjson. I'm unclear on precisely how this potential solution works, it seems (and this) that having the package installed allows dash to serialize json strings with orjson instead. There are errors thrown if you try to use it for the serialization (the speedup comes from the fact that it's bytes).
- Clientside Callbacks. To implement this, the graphing portion would have to be translated into Javascript.
- 主要言語
- Python
- スター
- 6
- フォーク
- 2
- PR マージ指標
- 30日以内にマージされた PR はありません
環境構築
- Dockerfile または Docker Compose ファイルあり
- プルリクエストのテンプレートなし
- コントリビューションガイドなし
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
Imageomics/dashboard-prototype のほかの issue
-
enhancement help wanted question UX
難易度 4/5 3〜5日 初心者へのやさしさ 35/100
-
enhancement
難易度 4/5 3〜5日 初心者へのやさしさ 35/100
-
organization
難易度 5/5 1週間以上 初心者へのやさしさ 25/100
-
Filtering Questionsオープンquestion
難易度 5/5 1週間以上 初心者へのやさしさ 25/100
-
enhancement question
難易度 5/5 1週間以上 初心者へのやさしさ 25/100
Imageomics/dashboard-prototype の issue をすべて見る
似ている issue
-
automated endpoint-dead needs-curation
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
almanac-data/climate-almanac#138 ·
メンテナーはふだん 1 日以内に返信
-
enhancement
難易度 2/5 1〜3時間 初心者へのやさしさ 67/100
OceanDataTools/openrvdas#760 ·
メンテナーはふだん 1 日以内に返信
-
level/subtask type/enhancement
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
wazuh/wazuh-virtual-machines#1091 ·
メンテナーはふだん 1 日以内に返信
-
Python: Bug: ChatMessageContent.from_element drops AudioContent and BinaryContent into raw TextContent対応中かも @halcyon-past が今日担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
microsoft/semantic-kernel#14824 · コメント 1 件 ·
メンテナーはふだん 3 日以内に返信
-
help wanted
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
stack314/django-neolith#142 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信