Tests are too slow for libraries with eager-mode dispatch overhead
まだ誰も着手していません。
評価
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 初心者へのやさしさ
- 35/100
- issue の種類
- バグ
- 明瞭さ
- 説明が足りない
- 活発さ
- 停滞
- 技術スタック
- python
- 領域
- performance, testing
調査の方向性
リンクされた GitHub Actions job と array-api-tests テストスイートから始め、報告された 4.5-hour の実行を再現して、どのテストが実行時間の大部分を占めているかを調べます。issue にはソースファイルやテストのエントリポイントが記載されていません。完了の条件は、スイートの compliance カバレッジと結果を維持しながら、eager-mode のテスト時間を大幅に短縮することです。
索引モデルが issue の本文から書いたものです。
説明
For example this job: https://github.com/google/jax/actions/runs/6804780902/job/18502996983, which is associated with https://github.com/google/jax/pull/16099 took 4.5 hours to run about 1000 tests.
========== 567 failed, 439 passed, 116 skipped in 16419.47s (4:33:39) ==========
This is slow enough to be virtually unusable.
Is there anything I can do to speed up the tests during development of the JAX array API?
Edit: as mentioned below, this is due to the frequent use of patterns within the tests that every value in each array via indexing, and the fact that in eager execution, each of these indexing operations have a small dispatch overhead that leads to slow tests when arrays are large.
- 主要言語
- Python
- スター
- 74
- フォーク
- 54
- 平均マージ
- 4時間 35分
- マージ済み PR（30日）
- 4
コントリビューションガイド
このリポジトリのコントリビューションガイドは索引されていません
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
data-apis/array-api-tests のほかの issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 87/100
data-apis/array-api-tests#465 · コメント 1 件 ·
-
難易度 3/5 1〜2日 初心者へのやさしさ 68/100
data-apis/array-api-tests#460 · コメント 1 件 ·
-
難易度 3/5 1〜2日 初心者へのやさしさ 68/100
data-apis/array-api-tests#455 · コメント 2 件 ·
-
tracking
難易度 5/5 1週間以上 初心者へのやさしさ 25/100
data-apis/array-api-tests#381 · コメント 9 件 ·
-
難易度 5/5 1週間以上 初心者へのやさしさ 38/100
data-apis/array-api-tests#379 · コメント 10 件 ·
data-apis/array-api-tests の issue をすべて見る
似ている issue
-
bug confirmed issue
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
open-webui/open-webui#30750 · コメント 1 件 ·
-
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
-
enhancement
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
OpenwaterHealth/openmotion-bloodflow-app#604 · コメント 1 件 ·
-
難易度 2/5 1〜3時間 初心者へのやさしさ 70/100
-
good first issue
難易度 1/5 1時間未満 初心者へのやさしさ 90/100