Add consistency for reporting TestNG results for data providers
まだ誰も着手していません。
評価
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 初心者へのやさしさ
- 30/100
- issue の種類
- バグ
- 明瞭さ
- 説明が足りない
- 活発さ
- 停滞
- 技術スタック
- java, typescript, vscode
調査の方向性
デフォルトの TestNG listener と data provider のレポートパスから始めます。issue の ITest/getTestName workaround とリンクされた IntelliJ listener を比較ポイントとして使用します。issue のケースを再現し、VS Code UI とコンソールが一貫したテスト数を報告することを確認します。
索引モデルが issue の本文から書いたものです。
説明
Summary
Overall, great experience working with vscode and this extension thus far. Adding this feature/fixing the bug (eye of the beholder) will save a bit of time running commands in the terminal to get reliable results.
See below for a depiction of the disagreement between the user interface and console reports as well as a simple reproduce case.
I'd imagine there are many ways to approach this for full flexibility but I do think having the default test listener support this out of the box and at least have agreement in counts would be a desirable feature. I have used other IDEs and here is one way it is being approached: https://github.com/JetBrains/intellij-community/blob/2aa816fb814bb07c697a17d6a27e427e142a3633/plugins/testng_rt/src/com/intellij/rt/testng/IDEATestNGRemoteListener.java.
Note: there are ways to work around this by implementing the ITest interface per test and overriding the getTestName method but this is cumbersome as well!
System and application versions
Version: 1.37.1 (user setup)
Commit: f06011ac164ae4dc8e753a3fe7f9549844d15e35
Date: 2019-08-15T16:17:55.855Z
Electron: 4.2.7
Chrome: 69.0.3497.128
Node.js: 10.11.0
V8: 6.9.427.31-electron.0
OS: Windows_NT x64 10.0.18362
TestNG version
<dependency>
<groupId>org.testng</groupId>
<artifactId>testng</artifactId>
<version>6.8</version>
<scope>test</scope>
</dependency>
Repro case
- 主要言語
- TypeScript
- スター
- 340
- フォーク
- 173
- 平均マージ
- 1日 2時間
- マージ済み PR（30日）
- 17
コントリビューションガイド
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
microsoft/vscode-java-test のほかの issue
-
ai-triaged bug investigating junit test-discovery test-execution
難易度 4/5 3〜5日 初心者へのやさしさ 42/100
microsoft/vscode-java-test#1897 · コメント 1 件 ·
-
ai-triaged bug gradle high-priority test-execution
microsoft/vscode-java-test#1880 · コメント 2 件 · 担当者 1 名 ·
-
ai-triaged gradle junit test-execution ux
microsoft/vscode-java-test#1878 · コメント 3 件 · 担当者 1 名 ·
-
ai-triaged enhancement junit low-priority test-execution ui
難易度 4/5 3〜5日 初心者へのやさしさ 48/100
microsoft/vscode-java-test#1836 · コメント 4 件 ·
-
ai-triaged enhancement gradle investigating junit low-priority test-reporting
難易度 4/5 3〜5日 初心者へのやさしさ 48/100
microsoft/vscode-java-test#1824 · コメント 1 件 ·
microsoft/vscode-java-test の issue をすべて見る
似ている issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 74/100
ontola/atomic-server#1625 ·
-
bug
難易度 2/5 1〜3時間 初心者へのやさしさ 70/100
melgarafael/DeskcommCRM#1451 ·
-
難易度 1/5 1時間未満 初心者へのやさしさ 82/100
-
bug via-triage
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
-
bot:ai-assisted component:compact-js status:untriaged
難易度 2/5 1〜3時間 初心者へのやさしさ 84/100
midnightntwrk/midnight-sdk#403 ·