quickwit-oss/tantivy

Tantivy should work without a store/fieldnorm/position file

Open

#124 opened on 2017年4月24日

GitHub で見る
 (0 comments) (0 reactions) (0 assignees)Rust (8,354 stars) (499 forks)batch import
enhancementgood first issue

説明

Currently tantivy creates empty file even if the schema does not requires them (e.g. no field in the schema is stored for instance). The segment reader also needlessly opens and mmaps these files. jwolfe lost a bit of time when writing a converter from a different search index to tantivy.

コントリビューターガイド

技術スタック
rust
領域
backend
Issue 種別
feature
難度新しい貢献者にとっての実装難度です。1 は非常に小さな変更、5 は専門的な作業です。
3
推定時間経験ある貢献者が調査、実装、テスト、pull request 準備にかけるおおよその時間範囲です。
half day
活動状況Issue が今どれだけ取り組みやすいかを示します。新しい、活発、古い、ブロック中、またはメンテナー入力待ちなどです。
stale
明確さ期待される変更、受け入れ条件、次の手順がどれだけ明確かを示します。
clear
前提条件
Rust programmingfile I/O concepts
初心者向け度初回貢献者にどれだけ取り組みやすいかを 1-100 で推定したスコアです。
60
調査方針
Examine the segment reader code in Tantivy that creates and opens store, fieldnorm, and position files. The issue suggests that these files are created even when the schema doesn't require them. Start by locating where these files are initialized (likely in the segment or index writer). Then, modify the logic to conditionally create and open them based on the schema's stored fields, field norms, and positions. Also review the reader side to avoid mmap'ing unnecessary files. Check the repository's git history for any partial attempts or discussions around this issue. Update existing tests to verify the new behavior.
Tantivy should work without a store/fieldnorm/position file · quickwit-oss/tantivy#124 | Good First Issue