quickwit-oss/tantivy

Missing search results with in memory index

Open

#1.824 aberto em 23 de jan. de 2023

Ver no GitHub
 (7 comments) (0 reactions) (0 assignees)Rust (499 forks)batch import
good first issuehelp wanted

Métricas do repositório

Stars
 (8.354 stars)
Métricas de merge de PR
 (Mesclagem média 12d 14h) (20 fundiu PRs em 30d)

Description

I've been working on a small command line app to merge bibtex files and have been using tantivy to index paper titles. I noticed some strange behavior where if I (from python extension):

  1. Create an in memory index
  2. Call writer.add_document in a for loop
  3. Call writer.commit() outside the for loop The search results I'd expect to be exact matches (duplicate detection) are not showing up. I reran the same code several times and every so often I do get the correct results, which suggested to me that on commit, some index entries were getting lost. If I have writer.commit inside the for loop, the issue goes away. Likewise, if I use a file-based index, the issue also goes away.

Reading the docs, it looks like even with an in memory index, calling writer.commit() after the for loop and not in it should work, is there something I'm missing or might this be a bug?

If it's not a known issue already and you cant reproduce it, once I finish with my cli I can share the relevant code.

Guia do colaborador

Direção de pesquisa
Investigue o comportamento do writer.commit() para índice em memória. Verifique se a mesclagem ou liberação de segmentos do índice em memória está perdendo commits ao adicionar documentos em um loop. Compare com o comportamento do índice baseado em arquivo.
Pilha de tecnologia
rust
Domain
backend
Tipo Issue
Bug
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
2
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-3 horas
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
Rust
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
65