apple/foundationdb

Add documentation on simulation testing at scale

Open

#4.663 aberto em 14 de abr. de 2021

Ver no GitHub
 (1 comment) (0 reactions) (0 assignees)C++ (1.266 forks)batch import
documentationgood first issue

Métricas do repositório

Stars
 (13.912 stars)
Métricas de merge de PR
 (Mesclagem média 4d 12h) (126 fundiu PRs em 30d)

Description

Now we have open sourced the Joshua testing framework. It's time to add documentation on how to run simulation testings at scale, probably improve both documentation here and at Joshua project. This will make it easier for contributors other than Apple and Snowflake.

To start, we need to describe the steps for setting up the testing infrastructure:

  • Have a FoundationDB cluster running.
  • Build and run the docker image from this script, make sure the docker image uses the same FDB version as the cluster in the first step. Go inside the docker image and make sure it can talk to the cluster.
  • Create a correctness package (i.e., as simple as ninja package_tests).
  • Submit correctness package to the cluster.

We also need descriptions on how to check simulation results, e.g., how many failed, how to reproduce, inactive jobs, etc.

Guia do colaborador

Direção de pesquisa
Siga as etapas descritas no problema para configurar a infraestrutura de teste de simulação usando Joshua. Consulte a documentação do projeto Joshua e o script de build.
Pilha de tecnologia
None
Domain
infrastructuretestingdocumentation
Tipo Issue
Documentação
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
2
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
Meio dia
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
DockerFoundationDB basics
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
50