Track benchmarks over time in CI
メンテナーはふだん 3 日以内に返信
まだ誰も着手していません。
評価
- 難易度
- 5/5
- 見積もり時間
- 1週間以上
- 初心者へのやさしさ
- 18/100
- issue の種類
- 機能追加
- 明瞭さ
- 説明が足りない
- 活発さ
- 活発
- 領域
- ci-cd, performance
調査の方向性
This is a design proposal, not a task yet. Start with the benchmark results table and CSV output in _bench.py, which the issue says already record step times and errors against JAX, and with the performance targets on #285. The first decision is which tool to adopt (pytest-benchmark, criterion.rs, github-action-benchmark, codspeed or bencher) and how much noise the thresholds must tolerate. Done would mean an agreed plan from a maintainer, then a first CI job that records one benchmark over time.
索引モデルが issue の本文から書いたものです。
説明
🌀 Claude: The ML demos' numbers are measured by hand and posted on #285, with the CPU and versions. Nothing records them over time, so a regression in xarray-sql, ddx, einfold or DataFusion shows up only when someone measures again.
Proposal: track benchmarks over time in CI, starting small:
- pytest-benchmark for the Python benchmarks, including the ML demos at fixed sizes. Each step's time and its error against JAX are already in
_bench.py's results table and CSV. - criterion.rs where the Rust code needs it.
- github-action-benchmark to store the history and flag a regression on a PR.
Hosted runners vary from run to run, so the thresholds need to allow for that noise. Alternatives: codspeed.io, which counts instructions rather than measuring time, and bencher.dev. Both are free for open source today, but carry the risk of a SaaS changing its terms. asv is a reference for what a full history and dashboard could look like.
Raised in review of #269. The performance targets themselves are tracked on #285.
- 主要言語
- Python
- スター
- 142
- フォーク
- 19
- 平均マージ
- 3日 47分
- マージ済み PR（30日）
- 8
環境構築
- Dockerfile・Docker Compose ファイルなし
- プルリクエストのテンプレートなし
- コントリビューションガイドを読む
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
xqlsystems/xarray-sql のほかの issue
-
dependencies github_actions
難易度 2/5 1〜3時間 初心者へのやさしさ 70/100
xqlsystems/xarray-sql#295 ·
メンテナーはふだん 3 日以内に返信
-
A big-endian data variable registers, then every query fails: Byte-swapped arrays not supportedオープンbug
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
xqlsystems/xarray-sql#288 ·
メンテナーはふだん 3 日以内に返信
-
documentation ml
難易度 1/5 1〜3時間 初心者へのやさしさ 85/100
xqlsystems/xarray-sql#268 ·
メンテナーはふだん 3 日以内に返信
-
enhancement ml
難易度 2/5 1〜3時間 初心者へのやさしさ 64/100
xqlsystems/xarray-sql#267 · コメント 4 件 ·
メンテナーはふだん 3 日以内に返信
-
難易度 1/5 1時間未満 初心者へのやさしさ 74/100
xqlsystems/xarray-sql#243 ·
メンテナーはふだん 3 日以内に返信
xqlsystems/xarray-sql の issue をすべて見る
似ている issue
-
documentation good first issue
難易度 1/5 1時間未満 初心者へのやさしさ 88/100
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 84/100
MarketSquare/robotframework-browser#5479 ·
メンテナーはふだん 1 日以内に返信
-
Visual COBOL: missing 11.0 and 12.0, and 9.0 date differs from Rocket Software's lifecycle pageオープン
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
endoflife-date/endoflife.date#11561 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100
OCA/l10n-brazil#5602 ·
メンテナーはふだん 1 日以内に返信
-
documentation review-2.0.0
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
dkuenzel/meshcore-home-gateway#106 ·
メンテナーはふだん 1 日以内に返信