quickwit-oss/tantivy

Optimize Segment Readers Alive Doc Iterator

Open

#296 ouverte le 8 mai 2018

Voir sur GitHub
 (3 commentaires) (0 réactions) (0 assignés)Rust (499 forks)batch import
enhancementgood first issueperformance

Métriques du dépôt

Stars
 (8 354 stars)
Métriques de merge PR
 (Merge moyen 12j 14h) (20 PRs mergées en 30 j)

Description

Noted in PR #293

Use the same trick as what is used in the [BitSetDocSet] (https://github.com/tantivy-search/tantivy/blob/78673172d001a0c4c7c73cdd3d9923fc43fc0312/src/query/bitset/mod.rs) which relies on TinySet

In a nutshell : instead of looping on the bitset to find the next thing alive, it uses a special cpu instruction to get the next bit set to 1 in a u64. The instruction is not free, but except if your bitset is EXTREMELY saturated it is generally faster.

https://github.com/tantivy-search/tantivy/pull/293#discussion-diff-186488306R373

Guide contributeur

Direction de recherche
Le problème suggère d'optimiser l'itérateur de documents actifs du lecteur de segment en adoptant la même technique utilisée dans BitSetDocSet (https://github.com/tantivy search/tantivy/blob/78673172d001a0c4c7c73cdd3d9923fc43fc0312/src/query/bitset/mod.rs), qui repose sur TinySet. L'amélioration clé consiste à utiliser une instruction CPU (probablement BSF ou TZCNT d'x86) pour trouver le prochain bit défini dans un u64, au lieu d'utiliser une boucle. Le contributeur doit examiner la PR #293 (https://github.com/tantivy search/tantivy/pull/293) et la différence de discussion référencée. L'implémentation doit remplacer la logique d'itération actuelle dans l'itérateur de documents actifs du lecteur de segment par une approche basée sur TinySet, en garantissant la correction et les gains de performances.
Stack technique
rust
Domaine
backendperformance
Type d'issue
Performance
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-2 jours
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
RustBit manipulation
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
40