apache/lucene

Create a simple "real world" regexp benchmark [LUCENE-9986]

Open

#11.025 aperta il 2 giu 2021

Vedi su GitHub
 (6 commenti) (0 reazioni) (1 assegnatario)Java (879 fork)batch import
good first issuelegacy-jira-priority:Majortype:enhancement

Metriche repository

Star
 (2179 star)
Metriche merge PR
 (Merge medio 7g 11h) (109 PR mergiate in 30 g)

Descrizione

For issues like #11022, where we are struggling to decide which low-level optimizations to make for our (complicated!) determinize method, it would really help to have a large, real-world corpus of regexps to evaluate performance metrics of our automata operations, like CPU and HEAP required to parse the regexp and determinize.

Does anyone know of such an existing, hopefully compatibly licensed, corpus?

Probably we would add these benchmarks to luceneutil.

Migrated from LUCENE-9986 by Michael McCandless (@mikemccand)

Guida contributor

Direzione di ricerca
Innanzitutto, rivedi la discussione esistente nell'issue #11022 per comprendere le preoccupazioni sulle prestazioni. Quindi, cerca un corpus di espressioni regolari del mondo reale con una licenza compatibile (ad esempio, corpus di regex da test di linguaggi di programmazione o progetti open source). I benchmark dovrebbero essere aggiunti al progetto `luceneutil`, probabilmente come un nuovo modulo, misurando l'utilizzo della CPU e dell'heap durante il parsing e la determinizzazione delle regex. Consultati con i maintainer, in particolare Michael McCandless, per allinearti sulla selezione del corpus e sul design dei benchmark.
Tech stack
java
Dominio
testingperformance
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
JavaGitLucene basicsBenchmarking
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
50