quickwit-oss/tantivy

Optimize Segment Readers Alive Doc Iterator

Open

#296 geöffnet am 8. Mai 2018

Auf GitHub ansehen
 (3 Kommentare) (0 Reaktionen) (0 zugewiesene Personen)Rust (499 Forks)batch import
enhancementgood first issueperformance

Repository-Metriken

Stars
 (8.354 Stars)
PR-Merge-Metriken
 (Durchschn. Merge 12T 14h) (20 gemergte PRs in 30 T)

Beschreibung

Noted in PR #293

Use the same trick as what is used in the [BitSetDocSet] (https://github.com/tantivy-search/tantivy/blob/78673172d001a0c4c7c73cdd3d9923fc43fc0312/src/query/bitset/mod.rs) which relies on TinySet

In a nutshell : instead of looping on the bitset to find the next thing alive, it uses a special cpu instruction to get the next bit set to 1 in a u64. The instruction is not free, but except if your bitset is EXTREMELY saturated it is generally faster.

https://github.com/tantivy-search/tantivy/pull/293#discussion-diff-186488306R373

Contributor Guide

Research-Richtung
Das Issue schlägt vor, den Alive Doc Iterator des Segment Readers zu optimieren, indem dieselbe Technik wie bei BitSetDocSet (https://github.com/tantivy search/tantivy/blob/78673172d001a0c4c7c73cdd3d9923fc43fc0312/src/query/bitset/mod.rs) verwendet wird, die auf TinySet basiert. Die wesentliche Verbesserung besteht darin, eine CPU Anweisung (wahrscheinlich x86 BSF oder TZCNT) zu verwenden, um das nächste gesetzte Bit in einem u64 zu finden, anstatt eine Schleife zu verwenden. Der Beitragende sollte PR #293 (https://github.com/tantivy search/tantivy/pull/293) und die referenzierte Diskussionsdiff untersuchen. Die Implementierung sollte die aktuelle Iterationslogik im Alive Doc Iterator des Segment Readers durch einen TinySet basierten Ansatz ersetzen und dabei Korrektheit und Leistungsverbesserungen sicherstellen.
Tech Stack
rust
Domain
backendperformance
Issue Type
Performance
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-2 Tage
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
RustBit manipulation
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
40