Hacktoberfest 2026: những issue maintainer đã đánh dấu cho tháng Mười, đang mở và phù hợp người mới. Xem issue Hacktoberfest

[Bug] Deleted rows take vector search top-k slots in data-evolution tables

Đang mở
  • Có gì không ổn?
#454 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 3 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức phù hợp với người mới
57/100
Loại issue
Lỗi
Độ rõ ràng
Đặc tả rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
cpp
Lĩnh vực
databases

Hướng nghiên cứu

Start with LiveRowGlobalIndexReader::VisitVectorSearch and compare its vector path with the full-text path that loads live rows before searching shards. The issue suggests combining VectorSearch.pre_filter with shard live rows through ReplacePreFilter, using GlobalIndexLiveRowFilter::LiveRows, or loading live rows before fan-out. Add coverage for the reproduction with three deleted nearest rows and verify that a limit of 3 returns 3 live rows when enough matches pass the filters.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

bug
Search before asking
  • I searched in the issues and found nothing similar.
Paimon-cpp version

main at commit 50ef548ec87cc444a153fb2a03789f9be768d610, with #448 applied.

Minimal reproduce step
  1. Create a data-evolution table with row tracking and deletion-vectors.enabled = true. Write 10 rows with a vector column, then build a vector global index on that column.
  2. Delete the three rows nearest to a query vector, using deletion vectors.
  3. Search for that vector with limit = 3 through GlobalIndexScan::CreateReader → VisitVectorSearch.
  4. Pass the result to ScanContextBuilder::SetGlobalIndexResult, then scan and read.
What doesn't meet your expectations?

The index still ranks the deleted rows, so they take all three top-k slots. The read then drops them, because deletion vectors are applied only at read time. The query returns 0 rows instead of 3.

#448 (for #403) excludes deleted rows only from full-text ranking: LiveRowGlobalIndexReader::VisitVectorSearch delegates unchanged, and live rows are loaded only before a full-text search fans out to the shards. Java filters vector search with the same live rows (apache/paimon#8459).

Expected: limit = k returns k live rows whenever at least k live rows pass the search's pre_filter and predicate.

Anything else?

Follow-up of #403 / #448.

Suggestions:

  • VectorSearch already carries a pre_filter over global row ids, so LiveRowGlobalIndexReader::VisitVectorSearch can combine it with the live rows of the shard through ReplacePreFilter, reusing GlobalIndexLiveRowFilter::LiveRows, and pass the search on unchanged when the whole shard is live.
  • Load live rows on the visiting thread before a vector search fans out to the shards, as LiveRowUnionGlobalIndexReader does for full-text search.
Are you willing to submit a PR?
  • I'm willing to submit a PR!
Ngôn ngữ chính
C++
Star
70
Fork
36
Merge trung bình
3 ngày 16 giờ
Pull request đã merge (30 ngày)
38

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của apache/paimon-cpp

Tất cả issue của apache/paimon-cpp

Issue tương tự

Thêm issue về C++

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.