apple/foundationdb

Add documentation on simulation testing at scale

Open

#4 663 ouverte le 14 avr. 2021

Voir sur GitHub
 (1 commentaire) (0 réactions) (0 assignés)C++ (1 266 forks)batch import
documentationgood first issue

Métriques du dépôt

Stars
 (13 912 stars)
Métriques de merge PR
 (Merge moyen 4j 12h) (126 PRs mergées en 30 j)

Description

Now we have open sourced the Joshua testing framework. It's time to add documentation on how to run simulation testings at scale, probably improve both documentation here and at Joshua project. This will make it easier for contributors other than Apple and Snowflake.

To start, we need to describe the steps for setting up the testing infrastructure:

  • Have a FoundationDB cluster running.
  • Build and run the docker image from this script, make sure the docker image uses the same FDB version as the cluster in the first step. Go inside the docker image and make sure it can talk to the cluster.
  • Create a correctness package (i.e., as simple as ninja package_tests).
  • Submit correctness package to the cluster.

We also need descriptions on how to check simulation results, e.g., how many failed, how to reproduce, inactive jobs, etc.

Guide contributeur

Direction de recherche
Suivez les étapes décrites dans le problème pour configurer l'infrastructure de test de simulation à l'aide de Joshua. Référez vous à la documentation du projet Joshua et au script de construction.
Stack technique
Aucun
Domaine
infrastructuretestingdocumentation
Type d'issue
Documentation
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
2
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
Une demi journée
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
DockerFoundationDB basics
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
50