Track benchmarks over time in CI
維護者通常 3 天內回覆
還沒有人認領這個 Issue。
評估
- 難度
- 5/5
- 預估耗時
- 一週以上
- 新手友好度
- 18/100
- Issue 類型
- 功能
- 描述清晰度
- 需要釐清
- 活躍度
- 活躍
- 領域
- ci-cd, performance
研究方向
This is a design proposal, not a task yet. Start with the benchmark results table and CSV output in _bench.py, which the issue says already record step times and errors against JAX, and with the performance targets on #285. The first decision is which tool to adopt (pytest-benchmark, criterion.rs, github-action-benchmark, codspeed or bencher) and how much noise the thresholds must tolerate. Done would mean an agreed plan from a maintainer, then a first CI job that records one benchmark over time.
由索引模型根據 Issue 內容生成。
描述
🌀 Claude: The ML demos' numbers are measured by hand and posted on #285, with the CPU and versions. Nothing records them over time, so a regression in xarray-sql, ddx, einfold or DataFusion shows up only when someone measures again.
Proposal: track benchmarks over time in CI, starting small:
- pytest-benchmark for the Python benchmarks, including the ML demos at fixed sizes. Each step's time and its error against JAX are already in
_bench.py's results table and CSV. - criterion.rs where the Rust code needs it.
- github-action-benchmark to store the history and flag a regression on a PR.
Hosted runners vary from run to run, so the thresholds need to allow for that noise. Alternatives: codspeed.io, which counts instructions rather than measuring time, and bencher.dev. Both are free for open source today, but carry the risk of a SaaS changing its terms. asv is a reference for what a full history and dashboard could look like.
Raised in review of #269. The performance targets themselves are tracked on #285.
- 主要語言
- Python
- 星號
- 142
- 分支
- 19
- 平均合併
- 3 天 47 分鐘
- 30 天內合併 PR
- 8
環境準備
- 沒有 Dockerfile 或 Docker Compose 檔案
- 沒有 Pull Request 範本
- 閱讀貢獻指南
從這裡開始
- 先讀完整個 Issue，再讀專案的貢獻指南。
- 在 Issue 下留言說明你要接手 —— 這能避免兩個人做同樣的事。
- Fork 儲存庫，在一個分支上完成修改。
- 送出 Pull Request，並在描述裡引用這個 Issue 編號。
xqlsystems/xarray-sql 的其他 Issue
-
dependencies github_actions
難度 2/5 1-3 小時 新手友好度 70/100
xqlsystems/xarray-sql#295 ·
維護者通常 3 天內回覆
-
bug
難度 2/5 1-3 小時 新手友好度 72/100
xqlsystems/xarray-sql#288 ·
維護者通常 3 天內回覆
-
documentation ml
難度 1/5 1-3 小時 新手友好度 85/100
xqlsystems/xarray-sql#268 ·
維護者通常 3 天內回覆
-
enhancement ml
難度 2/5 1-3 小時 新手友好度 64/100
xqlsystems/xarray-sql#267 · 4 則留言 ·
維護者通常 3 天內回覆
-
難度 1/5 1 小時以內 新手友好度 74/100
xqlsystems/xarray-sql#243 ·
維護者通常 3 天內回覆
查看 xqlsystems/xarray-sql 的全部 Issue
相似的 Issue
-
docs size:S
難度 1/5 1 小時以內 新手友好度 88/100
維護者通常 1 天內回覆
-
documentation
難度 2/5 1-3 小時 新手友好度 78/100
維護者通常 1 天內回覆
-
難度 2/5 1-3 小時 新手友好度 74/100
strawberry-graphql/strawberry#4794 ·
維護者通常 1 天內回覆
-
難度 2/5 1-3 小時 新手友好度 78/100
dataforgoodfr/cetolog#21 ·
-
難度 2/5 1-3 小時 新手友好度 76/100
btclib-org/btclib#2932 ·
維護者通常 1 天內回覆