delta-io/delta

[Feature Request] LogStore integration test framework

Open

#1 124 ouverte le 11 mai 2022

Voir sur GitHub
 (7 commentaires) (0 réactions) (1 assigné)Scala (2 100 forks)batch import
enhancementgood first issue

Métriques du dépôt

Stars
 (8 807 stars)
Métriques de merge PR
 (Merge moyen 7j 1h) (142 PRs mergées en 30 j)

Description

Feature request

Overview

It would be great to have an automated integration test framework for all of our LogStores that includes a) integration-testing (using real cloud buckets/tables) and b) stress-testing (using multiple concurrent readers + writers) c) validation that the reads/writes were successful

Motivation

Further details

There is an existing example integration test for S3DynamoDBLogStore at here.

It would be great to get similar integration tests for each of the production log stores in the delta-storage artifact here.

Ideally it would be one python file that took command line arguments for the

  • log store to use
  • cloud/scheme
  • tablePath/bucket
  • credentials
  • number of current readers / writers
  • per-cloud specific arguments

that could be invoked from a specific run-logstore-integration-tests.py file that ran for each of our log stores.

Guide contributeur

Direction de recherche
Créez un script Python pouvant être invoqué avec des arguments de ligne de commande pour le type de magasin de logs, le schéma cloud, le chemin de la table, les identifiants et les paramètres de concurrence. Concevez un framework pour exécuter des tests d'intégration et de stress pour chaque LogStore de production en étendant l'exemple S3DynamoDB existant.
Stack technique
scalapython
Domaine
backendtesting qa
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
Une demi journée
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
PythonAWS
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
60