IntersectMBO/plutus

Add golden tests for the validation benchmarks

Open

#6.828 aberto em 10 de fev. de 2025

Ver no GitHub
 (1 comment) (0 reactions) (0 assignees)Haskell (511 forks)batch import
BenchmarksGood first issueInternalTeststatus: triagedtech debt

Métricas do repositório

Stars
 (1.637 stars)
Métricas de merge de PR
 (Mesclagem média 15d 11h) (13 fundiu PRs em 30d)

Description

Currently the validation benchmarks don't seem to have any golden tests ensuring that what scripts evaluate to doesn't change. Unlike e.g. nofib or bitwise benchmarks (and lists ones have some property tests). We should fix that, otherwise an apparent optimization might as well turn out to be a bug.

Same about marlowe?

Guia do colaborador

Direção de pesquisa
Primeiro, examine como os testes golden são implementados para os benchmarks 'nofib' e 'bitwise' no mesmo repositório (por exemplo, veja os arquivos de teste para esses benchmarks). Entenda o padrão: provavelmente há um script que gera os valores esperados e uma estrutura de teste que os compara. Em seguida, aplique o mesmo padrão ao diretório de benchmarks 'validation'. O problema também menciona 'marlowe', então decida se ele deve ser incluído. Após escrever os testes golden, execute os para garantir que passem. Se houver algum teste falhando, investigue se os benchmarks produzem saída determinística.
Pilha de tecnologia
None
Domain
testing
Tipo Issue
Teste
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
Meio dia
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
Git
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
70