apache/lucene

Create a simple "real world" regexp benchmark [LUCENE-9986]

Open

#11.025 aberto em 2 de jun. de 2021

Ver no GitHub
 (6 comments) (0 reactions) (1 assignee)Java (879 forks)batch import
good first issuelegacy-jira-priority:Majortype:enhancement

Métricas do repositório

Stars
 (2.179 stars)
Métricas de merge de PR
 (Mesclagem média 7d 11h) (109 fundiu PRs em 30d)

Description

For issues like #11022, where we are struggling to decide which low-level optimizations to make for our (complicated!) determinize method, it would really help to have a large, real-world corpus of regexps to evaluate performance metrics of our automata operations, like CPU and HEAP required to parse the regexp and determinize.

Does anyone know of such an existing, hopefully compatibly licensed, corpus?

Probably we would add these benchmarks to luceneutil.

Migrated from LUCENE-9986 by Michael McCandless (@mikemccand)

Guia do colaborador

Direção de pesquisa
Primeiro, revise a discussão existente na issue #11022 para entender as preocupações de desempenho. Em seguida, procure um corpus de expressões regulares do mundo real com uma licença compatível (por exemplo, corpora de regex de testes de linguagens de programação ou projetos de código aberto). Os benchmarks devem ser adicionados ao projeto `luceneutil`, provavelmente como um novo módulo, medindo o uso de CPU e heap na análise e determinação de regex. Consulte os mantenedores, especialmente Michael McCandless, para alinhar a seleção do corpus e o design dos benchmarks.
Pilha de tecnologia
java
Domain
testingperformance
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
2
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-2 dias
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
JavaGitLucene basicsBenchmarking
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
50