IntersectMBO/plutus

Add golden tests for the validation benchmarks

Open

Aperta il 10 feb 2025

Vedi su GitHub
 (1 commento) (0 reazioni) (0 assegnatari)Haskell (1637 star) (511 fork)batch import
BenchmarksGood first issueInternalTeststatus: triagedtech debt

Descrizione

Currently the validation benchmarks don't seem to have any golden tests ensuring that what scripts evaluate to doesn't change. Unlike e.g. nofib or bitwise benchmarks (and lists ones have some property tests). We should fix that, otherwise an apparent optimization might as well turn out to be a bug.

Same about marlowe?

Guida contributor

Tech stack
Nessuno
Dominio
testing
Tipo issue
test
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
half day
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
active
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
clear
Prerequisiti
Git
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
70
Direzione di ricerca
Innanzitutto, esamina come sono implementati i test golden per i benchmark 'nofib' e 'bitwise' nello stesso repository (ad esempio, guarda i file di test per quei benchmark). Comprendi lo schema: probabilmente esiste uno script che restituisce i valori attesi e un framework di test che li confronta. Quindi, applica lo stesso schema alla directory dei benchmark 'validation'. Il problema menziona anche 'marlowe', quindi decidi se includerlo. Dopo aver scritto i test golden, eseguili per assicurarti che passino. Se ci sono test che falliscono, indaga se i benchmark producono output deterministici.