quickwit-oss/tantivy

Optimize Segment Readers Alive Doc Iterator

Open

#296 aperta il 8 mag 2018

Vedi su GitHub
 (3 commenti) (0 reazioni) (0 assegnatari)Rust (499 fork)batch import
enhancementgood first issueperformance

Metriche repository

Star
 (8354 star)
Metriche merge PR
 (Merge medio 12g 14h) (20 PR mergiate in 30 g)

Descrizione

Noted in PR #293

Use the same trick as what is used in the [BitSetDocSet] (https://github.com/tantivy-search/tantivy/blob/78673172d001a0c4c7c73cdd3d9923fc43fc0312/src/query/bitset/mod.rs) which relies on TinySet

In a nutshell : instead of looping on the bitset to find the next thing alive, it uses a special cpu instruction to get the next bit set to 1 in a u64. The instruction is not free, but except if your bitset is EXTREMELY saturated it is generally faster.

https://github.com/tantivy-search/tantivy/pull/293#discussion-diff-186488306R373

Guida contributor

Direzione di ricerca
Il problema suggerisce di ottimizzare l'iteratore dei documenti attivi del segment reader adottando la stessa tecnica utilizzata in BitSetDocSet (https://github.com/tantivy search/tantivy/blob/78673172d001a0c4c7c73cdd3d9923fc43fc0312/src/query/bitset/mod.rs), che si basa su TinySet. Il miglioramento chiave consiste nell'utilizzare un'istruzione della CPU (probabilmente BSF o TZCNT di x86) per trovare il prossimo bit impostato in un u64, invece di eseguire un ciclo. Il contributore dovrebbe esaminare la PR #293 (https://github.com/tantivy search/tantivy/pull/293) e la differenza di discussione referenziata. L'implementazione dovrebbe sostituire la logica di iterazione corrente nell'iteratore dei documenti attivi del segment reader con un approccio basato su TinySet, garantendo correttezza e miglioramenti delle prestazioni.
Tech stack
rust
Dominio
backendperformance
Tipo issue
Performance
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
RustBit manipulation
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
40