Set timeout for both test function only and test function + all fixture setup and teardown
まだ誰も着手していません。
評価
調査の方向性
まず、既存の timeout_func_only 設定と、テスト関数、fixture、setup、teardown に対するタイムアウト処理を確認します。高速なテスト実行と CI のユースケースの両方について、関数専用およびテスト全体用の個別のタイムアウトをどのように設定し、検証するかを定義します。
索引モデルが issue の本文から書いたものです。
説明
It would be nice if it was possible to set a separate timeout for calling the function instead of just setting that the timeout applies only to the function. Currently I can set timeout_func_only = true in pyproject.toml, but that means that all timeouts apply only to the test function.
Concretely, The problem is that I have two kind of timeouts.
I would like to enforce that a selection of tests are fast when fixtures that can be cached are ignored. I currently run those like this:
pytest -m "not slow" tests/ --timeout=10
with timeout_func_only = true in pyproject.toml.
This is to maintain a set (the majority in our case, more than 2k), can be ran quickly (takes less than 40s with caching and pytest-xdist). Each of those tests should take less than 0.1s so a generous timeout of 10s seems appropriate. Only setting a session timeout for this run is not as reliable as it can vary widely because of pytest-xdist.
However, when running all tests in a CI runner, I need to set an appropriate large timeout (roughly 300s) for each test in order to avoid that a hanging test racks up billable minutes. A session timeout works, but needs to be set to an even larger timeout in order to avoid spurious fails due to variation. For this use case I would like to have timeout_func_only = false as slow fixtures matters for billable minutes.
- 主要言語
- Python
- スター
- 258
- フォーク
- 69
- PR マージ指標
- 30日以内にマージされた PR はありません
環境構築
このプロジェクトの環境構築ファイルはまだ確認していません。まず README を読み、一般的な手順ははじめてのコントリビューションガイドを参照してください。
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
pytest-dev/pytest-timeout のほかの issue
-
PR #200 introduced breaking change - `timeout` value in config is incompatible with older versionsオープン
難易度 4/5 3〜5日 初心者へのやさしさ 48/100
pytest-dev/pytest-timeout#203 · コメント 1 件 ·
-
難易度 4/5 3〜5日 初心者へのやさしさ 35/100
pytest-dev/pytest-timeout#189 ·
-
難易度 2/5 1〜3時間 初心者へのやさしさ 35/100
pytest-dev/pytest-timeout#181 · リアクション 4 件 ·
-
難易度 2/5 1〜3時間 初心者へのやさしさ 35/100
pytest-dev/pytest-timeout#178 · コメント 1 件 ·
-
難易度 3/5 1〜2日 初心者へのやさしさ 35/100
pytest-dev/pytest-timeout#173 ·
pytest-dev/pytest-timeout の issue をすべて見る
似ている issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 86/100
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜2日 初心者へのやさしさ 70/100
-
FingerprintSplitter raises ZeroDivisionError when int(frac_train * len(dataset)) floors to zeroオープン
難易度 2/5 1〜3時間 初心者へのやさしさ 88/100
メンテナーはふだん 7 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 70/100
lmstudio-ai/mlx-engine#376 ·
-
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
pyiron/bagofholding#166 ·