Specify dependency of each test case
まだ誰も着手していません。
評価
- 難易度
- 5/5
- 見積もり時間
- 1週間以上
- 初心者へのやさしさ
- 25/100
調査の方向性
まず、テストメソッドと既存の array_helpers およびモジュールスタブ機構を確認します。次に、pytest の collection hook と、テストスイートがトップレベル関数、配列オブジェクトのメソッド、演算子をどのように表現しているかを調査します。完了時には、定義された依存関係表現、依存関係グラフ、依存関係を考慮したテストの優先順位付けまたはスキップを含める必要があります。
索引モデルが issue の本文から書いたものです。
説明
The test suite is mostly made up of test methods for each function (or array object method) in the spec. The majority of these tests require other functions to do everything we want, which is problematic when an underlying function does not work—you'll get a lot of spammy errors that actually relate to a single fundamental problem... or even false positives.
So I think it would be a good idea if we declared the dependencies of each test method, i.e. the functions we use and assume has correct behaviour. We could use these declarations to create a dependency graph, which could be hooked with pytest to prioritise zero/low-dependency tests first, and by default skipping tests that use functions we've deemed incorrect. This will benefit:
- Array API adoptors, who would much more easily see what they should prioritise developing
- Us, who'd be able to see areas where we can try to cut down the functions we depend on
Ideas for declaring dependencies per test method:
- Decorator which lists function and method names
- Automatically infer dependencies via looking at function code (either searching the code as string, or using the AST)
General challenges would be:
- How to get pytests collection hook to do this
- Supporting array object methods alongside the top-level functions
- As well as operator symbols
The dependency graph + auto skipping would also allow us to:
- Remove some mirrored functions in
array_helpers - Remove the module stubbing mechanism
- Check that no tests is using the function they're testing for assertions
- 主要言語
- Python
- スター
- 74
- フォーク
- 54
- 平均マージ
- 4時間 35分
- マージ済み PR(30日)
- 4
コントリビューションガイド
このリポジトリのコントリビューションガイドは索引されていません
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
data-apis/array-api-tests のほかの issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 87/100
data-apis/array-api-tests#465 · コメント 1 件 ·
-
難易度 3/5 1〜2日 初心者へのやさしさ 68/100
data-apis/array-api-tests#460 · コメント 1 件 ·
-
難易度 3/5 1〜2日 初心者へのやさしさ 68/100
data-apis/array-api-tests#455 · コメント 2 件 ·
-
tracking
難易度 5/5 1週間以上 初心者へのやさしさ 25/100
data-apis/array-api-tests#381 · コメント 9 件 ·
-
難易度 5/5 1週間以上 初心者へのやさしさ 38/100
data-apis/array-api-tests#379 · コメント 10 件 ·
data-apis/array-api-tests の issue をすべて見る
似ている issue
-
bug
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
xinnan-tech/xiaozhi-fde-talk#263 ·
-
rules
難易度 1/5 1時間未満 初心者へのやさしさ 90/100
-
難易度 2/5 1〜3時間 初心者へのやさしさ 70/100
huggingface/Repo2RLEnv#163 · コメント 1 件 ·
-
難易度 1/5 1時間未満 初心者へのやさしさ 95/100
huggingface/sentence-transformers#4074 ·
-
comp/dashboard invalid P3
難易度 2/5 1〜3時間 初心者へのやさしさ 70/100
NousResearch/hermes-agent#121143 ·