pull-request-dashboard: replay corpus cannot validate routes end to end

Aperta
#192 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub

I maintainer di solito rispondono entro 1 giorno

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
4/5
Tempo stimato
3-5 giorni
Idoneità per principianti
48/100
Tipo di issue
Funzionalità
Chiarezza
Abbastanza chiara
Stato di attività
Tranquilla

Direzione di ricerca

Inizia tracciando normalize_events, compute_facts e route_pr, quindi esamina gli harness esistenti e i valori delle route nei branch di otelbot/pull-request-dashboard-state/. Ricostruisci il corpus di 441 PR con commit, controlli di stato e stato mergeable, mantieni il collector nel repository e aggiungi un replay che confronti le route calcolate con le route registrate. Il lavoro è completato quando i cambiamenti nella classificazione a livello di route possono essere confrontati nell’intero corpus.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

The 441 pull request replay corpus used to validate dashboard classification changes was collected without commits, so it cannot be used to compare whole-PR routes before and after a change.

normalize_events reads raw["commits"], and the harnesses work around this by passing {"commits": [], "review_comments": []}. That is fine for deriving discussion items and review threads, but it means compute_facts never sees pushes or CI, so route_pr cannot be evaluated. Any classification change can therefore only be measured at the discussion layer.

Concretely, the review-thread rewrite could be measured as "134 of 144 pull requests unchanged in whether any thread demands the author", but not as "N of 441 routes unchanged", which is the number that actually matters.

To close this:

  • re-collect the corpus with commits and whatever else compute_facts reads (status checks, mergeable state)
  • add a replay that computes route_pr per pull request and diffs against the route recorded in the otelbot/pull-request-dashboard-state/<repo> branches
  • keep the collector in the repo rather than as local scratch, so the corpus can be rebuilt

Until then, route-level claims about classification changes are not supported by evidence.

Lingua principale
JavaScript
Stelle
7
Fork
23
Merge medio
15h 46m
PR unite (30g)
41

Preparare l'ambiente

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di open-telemetry/shared-workflows

Tutte le issue di open-telemetry/shared-workflows

Issue simili

Altre issue su JavaScript

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.