To enable baseline comparison for performance optimization PRs, kvrocks needs benchmark and latency testing support

Aperta
#3,408 4 commenti 0 reazioni 0 assegnatari Vedi su GitHub

I maintainer di solito rispondono entro 1 giorno

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
4/5
Tempo stimato
3-5 giorni
Idoneità per principianti
45/100
Tipo di issue
Funzionalità
Chiarezza
Abbastanza chiara
Stato di attività
Tranquilla
Stack tecnologico
cpp, redis

Direzione di ricerca

Inizia confrontando gli strumenti di benchmark e di test della latenza di Redis con le suite di test già supportate da Kvrocks. Individua come eseguire localmente redis-benchmark e redis-cli, quindi verifica che i test Redis supportati coprano gli scenari di benchmark e latenza e che i contributori possano riprodurre i confronti delle prestazioni.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

enhancement
Search before asking
  • I had searched in the issues and found no similar issues.
Motivation

I compared the benchmark testing in Redis and kvrocks, and found that kvrocks lacks benchmark testing and latency testing. Here's the comparison table:

Test Type Redis kvrocks
Unit Test ✅ ✅
Integration Test ✅ ✅
Benchmark Test ✅ redis-benchmark ❌
Latency Test ✅ --latency, --latency-history ❌

This makes performance-related PRs difficult to review, since contributors cannot provide performance comparisons (unless they use these tools to test themselves, but this adds burden to
contributors).

Therefore, I believe kvrocks needs to support running these tests locally and provide a comprehensive test suite, allowing contributors to easily run performance tests within the kvrocks
repository.

Solution

Support benchmark testing via redis-benchmark, and provide latency testing via redis-cli. Meanwhile, migrate the test suites from Redis (only the parts that kvrocks already supports).

Are you willing to submit a PR?
  • I'm willing to submit a PR!
Lingua principale
C++
Stelle
4.5k
Fork
689
Merge medio
2g 1h
PR unite (30g)
35

Preparare l'ambiente

Apri in Codespaces

Avvia il container di sviluppo del progetto nel browser, con il tuo account GitHub.

  • Include un Dockerfile o un file Docker Compose
  • Nessun modello di pull request
  • Nessuna guida per i contributori

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di apache/kvrocks

Tutte le issue di apache/kvrocks

Issue simili

Altre issue su C++

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.