delta-io/delta

[Feature Request] LogStore integration test framework

Open

#1.124 geöffnet am 11. Mai 2022

Auf GitHub ansehen
 (7 Kommentare) (0 Reaktionen) (1 zugewiesene Person)Scala (2.100 Forks)batch import
enhancementgood first issue

Repository-Metriken

Stars
 (8.807 Stars)
PR-Merge-Metriken
 (Durchschn. Merge 7T 1h) (142 gemergte PRs in 30 T)

Beschreibung

Feature request

Overview

It would be great to have an automated integration test framework for all of our LogStores that includes a) integration-testing (using real cloud buckets/tables) and b) stress-testing (using multiple concurrent readers + writers) c) validation that the reads/writes were successful

Motivation

Further details

There is an existing example integration test for S3DynamoDBLogStore at here.

It would be great to get similar integration tests for each of the production log stores in the delta-storage artifact here.

Ideally it would be one python file that took command line arguments for the

  • log store to use
  • cloud/scheme
  • tablePath/bucket
  • credentials
  • number of current readers / writers
  • per-cloud specific arguments

that could be invoked from a specific run-logstore-integration-tests.py file that ran for each of our log stores.

Contributor Guide

Research-Richtung
Erstellen Sie ein Python Skript, das mit Befehlszeilenargumenten für den LogStore Typ, das Cloud Schema, den Tabellenpfad, die Anmeldeinformationen und die Parallelitätsparameter aufgerufen werden kann. Entwerfen Sie ein Framework, das durch Erweiterung des vorhandenen S3DynamoDB Beispiels Integrations und Stresstests für jeden Produktions LogStore ausführt.
Tech Stack
scalapython
Domain
backendtesting qa
Issue Type
Funktion
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
Halber Tag
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
PythonAWS
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
60