quickwit-oss/tantivy

Optimize Segment Readers Alive Doc Iterator

Open

#296 创建于 2018年5月8日

在 GitHub 查看
 (3 评论) (0 反应) (0 负责人)Rust (499 fork)batch import
enhancementgood first issueperformance

仓库指标

Star
 (8,354 star)
PR 合并指标
 (平均合并 12天 14小时) (30 天内合并 20 个 PR)

描述

Noted in PR #293

Use the same trick as what is used in the [BitSetDocSet] (https://github.com/tantivy-search/tantivy/blob/78673172d001a0c4c7c73cdd3d9923fc43fc0312/src/query/bitset/mod.rs) which relies on TinySet

In a nutshell : instead of looping on the bitset to find the next thing alive, it uses a special cpu instruction to get the next bit set to 1 in a u64. The instruction is not free, but except if your bitset is EXTREMELY saturated it is generally faster.

https://github.com/tantivy-search/tantivy/pull/293#discussion-diff-186488306R373

贡献者指南

研究方向
该问题建议通过采用与 BitSetDocSet 相同的技术来优化段读取器的存活文档迭代器（https://github.com/tantivy search/tantivy/blob/78673172d001a0c4c7c73cdd3d9923fc43fc0312/src/query/bitset/mod.rs），该技术依赖于 TinySet。关键改进是使用 CPU 指令（可能是 x86 的 BSF 或 TZCNT）来查找 u64 中的下一个设置位，而不是循环。贡献者应检查 PR #293（https://github.com/tantivy search/tantivy/pull/293）和引用的讨论差异。实现应将段读取器的存活文档迭代器中的当前迭代逻辑替换为基于 TinySet 的方法，确保正确性和性能提升。
技术栈
rust
领域
backendperformance
议题类型
性能
难度面向新贡献者的预计实现难度，1 表示很小改动，5 表示专家级工作。
3
预计时间有经验贡献者完成调查、实现、测试并准备 pull request 的粗略时间范围。
1-2 天
活动状态议题当前的可参与程度：新鲜、活跃、陈旧、阻塞或等待维护者输入。
活跃
清晰度议题是否清楚说明期望改动、验收标准和下一步。
清晰
前置要求
RustBit manipulation
新手友好度1-100 的估计分数，表示该议题对首次贡献者的友好程度。
40