pylint-dev/pylint

Add randomization to test suite to find test isolation problems

Open

#9,063 建立於 2023年9月24日

在 GitHub 查看
 (1 留言) (0 反應) (0 負責人)Python (4,978 star) (1,059 fork)batch import
Good first issueHacktoberfestNeeds PRtests

描述

We can tackle test isolation issues in future work by adding a pytest plugin or some other solution for shuffling test cases.

Originally posted by @jacobtylerwalls in https://github.com/pylint-dev/pylint/issues/9041#issuecomment-1732605038

I'm familiar with the Django test runner's --shuffle option, but perhaps we can evaluate pytest-random-order or other plugins.

貢獻者指南

技術棧
python
領域
testing
議題類型
feature
難度面向新貢獻者的預計實作難度，1 表示很小改動，5 表示專家級工作。
3
預計時間有經驗貢獻者完成調查、實作、測試並準備 pull request 的粗略時間範圍。
half day
活動狀態議題目前的可參與程度：新鮮、活躍、陳舊、阻塞或等待維護者輸入。
fresh
清晰度議題是否清楚說明預期改動、驗收標準和下一步。
clear
前置要求
Pythonpytest basics
新手友善度1-100 的估計分數，表示該議題對首次貢獻者的友善程度。
70
研究方向
Look into existing pytest plugins like pytest random order or pytest randomly. Evaluate integration with pylint's test suite. Possibly add a configuration option to enable shuffling. Review the referenced comment in issue #9041 for context.