Dashboard: the sequential panel's "Ready to stop" banner shows no sample-ratio-mismatch caution

Aperta Adatta ai principianti
  • Qualcosa non va?
#1,737 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub

I maintainer di solito rispondono entro 1 giorno

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
2/5
Tempo stimato
1-3 ore
Idoneità per principianti
68/100
Tipo di issue
Bug
Chiarezza
Specificata chiaramente
Stato di attività
Attiva
Stack tecnologico
python
Ambito
frontend

Direzione di ricerca

Individua il pannello sequenziale della pagina dei risultati e il relativo banner di arresto anticipato, quindi confronta come il pannello bayesiano aggiunge l’avvertenza sul sample-ratio mismatch. Inizia tracciando come la pagina dei risultati espone l’avviso SRM a questi pannelli. Il lavoro è completato quando il banner di arresto mostra la stessa avvertenza ogni volta che l’avviso è attivo; lascia invariati i campi del risultato sequenziale e del vincitore.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

bug post-launch

What happens

When an experiment's traffic split does not match its allocation (a sample-ratio mismatch), the results page shows the SRM notice above
the tabs, and the leading-variant line, the impact lines and the Bayesian panel carry the caution "The traffic split does not match the
allocation, so treat this with caution". The sequential panel's early-stopping banner ("Ready to stop — the variant is significantly
better") carries no such caution.

What should happen

The sequential panel's stop banner carries the same SRM caution as the Bayesian panel when the SRM warning is on.

Notes

  • Priority: low, after launch (D213 allows it: the notice above the tabs is still on screen, and the recommendation already says
    INCONCLUSIVE under a mismatch).
  • Making a mismatch change the sequential result or the winner fields themselves would change a stable part of /results; that is a
    separate decision.
Lingua principale
Python
Stelle
0
Fork
4
Merge medio
5h 19m
PR unite (30g)
503

Preparare l'ambiente

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di Controlvar/controlvar

Tutte le issue di Controlvar/controlvar

Issue simili

Altre issue su Python

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.