logging in test runner / CI : higher log level but only print failing tests
メンテナーはふだん 10 日以内に返信
まだ誰も着手していません。
評価
- 難易度
- 3/5
- 見積もり時間
- 1〜2日
- 初心者へのやさしさ
- 45/100
- issue の種類
- 機能追加
- 明瞭さ
- おおむね明確
- 活発さ
- 停滞
- 技術スタック
- python
- 領域
- ci-cd, testing-qa
調査の方向性
aggregate_tests.py と、issue に記載されている test runner のバッファリング動作を読み、提案された handler と in-toto のアプローチを比較してください。失敗したテストについてはより高いレベルのロギングを利用でき、成功したテストの出力は CI を含めてバッファリングされたままであることを確認してください。
索引モデルが issue の本文から書いたものです。
説明
We should do what in-toto does: have the test runner output much more logging but only for failing tests. This should be especially useful for CI but also for developers.
Assuming we hard-code a good log level (see #1093 for potential alternatives), I think we only need roughly this in aggregate_tests.py:
class TestHandler(logging.StreamHandler):
def __init__(self):
super().__init__(self)
@property
def stream(self):
return sys.stderr
@stream.setter
def stream(self, value):
pass
if __name__ == '__main__':
logging.basicConfig(level=logging.INFO, handlers=[TestHandler()])
# current testrunner code here...
This is because the testrunner buffering will not work with long lived loggers otherwise: the default handler caches sys.stderr value and testrunner wants to modify it between test runs (and buffering is required to only print the failing test output).
- 主要言語
- Python
- スター
- 1.7k
- フォーク
- 304
- 平均マージ
- 9時間 25分
- マージ済み PR（30日）
- 14
環境構築
- Dockerfile・Docker Compose ファイルなし
- プルリクエストのテンプレートあり
- コントリビューションガイドを読む
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
theupdateframework/python-tuf のほかの issue
-
難易度 4/5 3〜5日 初心者へのやさしさ 48/100
theupdateframework/python-tuf#3001 ·
メンテナーはふだん 10 日以内に返信
-
難易度 4/5 3〜5日 初心者へのやさしさ 42/100
theupdateframework/python-tuf#2979 · コメント 1 件 ·
メンテナーはふだん 10 日以内に返信
-
enhancement github_actions
難易度 3/5 1〜2日 初心者へのやさしさ 45/100
theupdateframework/python-tuf#2920 · コメント 1 件 · リアクション 2 件 ·
メンテナーはふだん 10 日以内に返信
-
難易度 3/5 1〜2日 初心者へのやさしさ 35/100
theupdateframework/python-tuf#2842 · コメント 3 件 ·
メンテナーはふだん 10 日以内に返信
-
難易度 5/5 1週間以上 初心者へのやさしさ 25/100
theupdateframework/python-tuf#2836 · コメント 7 件 ·
メンテナーはふだん 10 日以内に返信
theupdateframework/python-tuf の issue をすべて見る
似ている issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100
PedestrianDynamics/pyFDS-Evac#199 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 65/100
521xueweihan/HelloGitHub#3790 ·
-
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
sandialabs/atlas-ui-3#978 ·
メンテナーはふだん 1 日以内に返信
-
area: tests perceived difficulty: 2
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
Nitjsefnie-Harness-Commons/daedalus#1255 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 86/100
EleutherAI/lm-evaluation-harness#4256 ·
メンテナーはふだん 1 日以内に返信