IntersectMBO/plutus

Add golden tests for the validation benchmarks

Open

#6.828 aberto em 10 de fev. de 2025

Ver no GitHub
 (1 comment) (0 reactions) (0 assignees)Haskell (1.637 stars) (511 forks)batch import
BenchmarksGood first issueInternalTeststatus: triagedtech debt

Description

Currently the validation benchmarks don't seem to have any golden tests ensuring that what scripts evaluate to doesn't change. Unlike e.g. nofib or bitwise benchmarks (and lists ones have some property tests). We should fix that, otherwise an apparent optimization might as well turn out to be a bug.

Same about marlowe?

Guia do colaborador

Pilha de tecnologia
None
Domain
testingperformance
Tipo Issue
test
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-2 days
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
fresh
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
clear
Prerequisites
HaskellPlutus basicsgolden testing
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
60
Direção de pesquisa
First, examine how golden tests are implemented for the 'nofib' and 'bitwise' benchmarks in the same repository (e.g., look at the test files for those benchmarks). Understand the pattern: likely there is a script that outputs expected values and a test framework that compares against them. Then, apply the same pattern to the 'validation' benchmarks directory. The issue also mentions 'marlowe' so decide if it should be included. After writing the golden tests, run them to ensure they pass. If there are any failing tests, investigate whether the benchmarks produce deterministic output.