Run scenarios in parallel

オープン
#390 コメント 4 件 リアクション 0 件 担当者 0 名 GitHub で見る

メンテナーはふだん 1 日以内に返信

まだ誰も着手していません。

評価

難易度
4/5
見積もり時間
3〜5日
初心者へのやさしさ
45/100
issue の種類
機能追加
明瞭さ
おおむね明確
活発さ
活発
技術スタック
php
領域
testing

調査の方向性

Start from issue #384 to get per-scenario timings. Examine the composer prepare-tests script and the Behat runner that currently executes scenarios serially. Implement worker isolation (own DB, temp dir) and a scenario-level splitter, then verify behat-rerun and merged reports still work.

索引モデルが issue の本文から書いたものです。

説明

scope:testing status:unconfirmed

Scenarios run strictly one after another, even though almost all of them are independent and the CI runners have several cores. In a local experiment with 213 entity-command scenarios, a serial run took 491 seconds. With 8 workers it took 164 seconds when split by feature file, where one large file set the floor. Split by scenario, it took 140 seconds (3.5×).

Steps:

  1. Give each worker its own state: temporary directory, HOME, WP-CLI cache and test database. composer prepare-tests needs to grant access to the additional databases.
  2. Keep scenarios that rely on fixed shared resources, such as port 8080 or the scaffold test database, from running at the same time.
  3. Split the work by scenario rather than by file, balanced by the per-scenario timings from #384.
  4. Merge the results into a single report and keep behat-rerun working.

Measuring: take the baseline from #384, then open a draft PR, run the same CI jobs against it with the parallel runner enabled and record both results here before we decide. CI runners have fewer cores than a development machine, so the gain there will be smaller than locally.

主要言語
PHP
スター
42
フォーク
29
平均マージ
21時間 6分
マージ済み PR(30日)
24

環境構築

はじめの一歩

  1. issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
  2. 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
  3. リポジトリをフォークし、ブランチを切って変更します。
  4. issue 番号を参照したプルリクエストを送ります。

wp-cli/wp-cli-tests のほかの issue

wp-cli/wp-cli-tests の issue をすべて見る

似ている issue

PHP の issue をもっと見る

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。