Benchmark some queries on merge
まだ誰も着手していません。
評価
- 難易度
- 5/5
- 見積もり時間
- 1週間以上
- 初心者へのやさしさ
- 25/100
- issue の種類
- 機能追加
- 明瞭さ
- 説明が足りない
- 活発さ
- 停滞
- 技術スタック
- r
- 領域
- ci-cd, data, performance
調査の方向性
まず、merge workflow と既存の代表的な表形式および空間クエリの経路を確認します。この issue では、bench::mark を使用して、PR の merge 後にクエリを実行し、計測時間を CSV に追記することを提案しています。完了の条件は、再現可能なベースラインが得られることであり、プロット作成と PR ベンチマーキングはストレッチ目標として扱います。
索引モデルが issue の本文から書いたものです。
説明
Given recent issues like #348 it might nice to have some lightweight benchmarking of a few key queries to track possible changes (either due to changes in bcdata or changes in catalogue/bcgw stuff. We can use this issue to roughgly outline a path. Here is one idea:
Lowest lift:
- Upon a merged PR, run a script that runs n number of queries for both tabular and spatial data that is representative of the types of queries that are possible with bcdata
- capture the timings on these queries with
bench::mark - appends those timings to a csv file as new rows and commit that directly into this repo
- rinse repeat to build up a baseline of how long it would take
Stretch goals:
- benchmark directly in a PR to evaluate a code before merging <- I think really this should only ever be done if we ever encounter a scenario where it would have been nice
- plot benchmarks and commit a png/svg to the repo for easy visualization.
- 主要言語
- R
- スター
- 87
- フォーク
- 14
- PR マージ指標
- 30日以内にマージされた PR はありません
環境構築
- Dockerfile・Docker Compose ファイルなし
- プルリクエストのテンプレートなし
- コントリビューションガイドを読む
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
bcgov/bcdata のほかの issue
-
Update example bcdc_get_data code to use new record対応中かも @Ehsan-hash が 1 日前に担当しました。 オープン
難易度 1/5 1時間未満 初心者へのやさしさ 85/100
-
running air in CIオープン
難易度 3/5 1〜2日 初心者へのやさしさ 25/100
-
considering enhancement wfs
難易度 4/5 3〜5日 初心者へのやさしさ 35/100
-
難易度 4/5 3〜5日 初心者へのやさしさ 35/100
-
Add BCDC and WFS status pages to documentation?対応中かも このイシューにリンクされたプルリクエストがオープン中、またはマージ済みです。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 35/100
似ている issue
-
Write an exception for delayed NYC data only対応中かも @kaitejohnson が今日担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 74/100
-
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
-
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100
-
New `filter_out()` requires dplyr >= 1.2.0対応中かも @jameslairdsmith が 1 日前に担当しました。 オープン
難易度 1/5 1時間未満 初心者へのやさしさ 74/100
-
難易度 1/5 1時間未満 初心者へのやさしさ 78/100