quickwit-oss/tantivy

Too many small segments

Open

#194 创建于 2017年6月20日

在 GitHub 查看
 (3 评论) (2 反应) (0 负责人)Rust (8,354 star) (499 fork)batch import
enhancementgood first issuehelp wantedlow priority

描述

Avoid creating 8 segments if commit after 8 documents just because we use 8 threads. Maybe pack documents in blocks of 100 docs?

贡献者指南

技术栈
rust
领域
backendperformance
议题类型
performance
难度面向新贡献者的预计实现难度，1 表示很小改动，5 表示专家级工作。
3
预计时间有经验贡献者完成调查、实现、测试并准备 pull request 的粗略时间范围。
1-3 hours
活动状态议题当前的可参与程度：新鲜、活跃、陈旧、阻塞或等待维护者输入。
stale
清晰度议题是否清楚说明期望改动、验收标准和下一步。
clear
前置要求
Rust programmingConcurrent indexingTantivy internals
新手友好度1-100 的估计分数，表示该议题对首次贡献者的友好程度。
40
研究方向
Investigate the Tantivy indexing code, particularly the multithreaded indexer that creates segments. Look at the logic that decides when to flush a new segment. Consider implementing a block size limit (e.g., 100 documents) to reduce the number of small segments. Review any comments in the issue for additional context. Check the repository's contribution guidelines for testing procedures.