Dashboard: the sequential panel's "Ready to stop" banner shows no sample-ratio-mismatch caution

オープン 初心者向け
  • 何か問題がありますか？
#1,737 コメント 0 件 リアクション 0 件 担当者 0 名 GitHub で見る

メンテナーはふだん 1 日以内に返信

まだ誰も着手していません。

評価

難易度
2/5
見積もり時間
1〜3時間
初心者へのやさしさ
68/100
issue の種類
バグ
明瞭さ
明確に書かれている
活発さ
活発
技術スタック
python
領域
frontend

調査の方向性

結果ページの逐次パネルと早期停止バナーを見つけ、ベイズパネルがサンプル比率の不一致に関する注意をどのように追加しているかを比較してください。まず、結果ページがSRM警告をこれらのパネルにどのように渡しているかを追ってください。警告が有効なときは常に停止バナーに同じ注意が表示される状態になれば完了です。逐次結果と勝者のフィールドは変更しないでください。

索引モデルが issue の本文から書いたものです。

説明

bug post-launch

What happens

When an experiment's traffic split does not match its allocation (a sample-ratio mismatch), the results page shows the SRM notice above
the tabs, and the leading-variant line, the impact lines and the Bayesian panel carry the caution "The traffic split does not match the
allocation, so treat this with caution". The sequential panel's early-stopping banner ("Ready to stop — the variant is significantly
better") carries no such caution.

What should happen

The sequential panel's stop banner carries the same SRM caution as the Bayesian panel when the SRM warning is on.

Notes

  • Priority: low, after launch (D213 allows it: the notice above the tabs is still on screen, and the recommendation already says
    INCONCLUSIVE under a mismatch).
  • Making a mismatch change the sequential result or the winner fields themselves would change a stable part of /results; that is a
    separate decision.
主要言語
Python
スター
0
フォーク
4
平均マージ
5時間 19分
マージ済み PR（30日）
503

環境構築

はじめの一歩

  1. issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
  2. 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
  3. リポジトリをフォークし、ブランチを切って変更します。
  4. issue 番号を参照したプルリクエストを送ります。

Controlvar/controlvar のほかの issue

Controlvar/controlvar の issue をすべて見る

似ている issue

Python の issue をもっと見る

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。