Hacktoberfest 2026: những issue maintainer đã đánh dấu cho tháng Mười, đang mở và phù hợp người mới. Xem issue Hacktoberfest

Docs: no code-analyzer coverage for FTS; base_tokenizer list omits "code"

Đang mở
  • Có gì không ổn?
#369 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức phù hợp với người mới
55/100
Loại issue
Tài liệu
Độ rõ ràng
Khá rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
python, typescript
Lĩnh vực
documentation, search

Hướng nghiên cứu

Start with docs/indexing/fts-index.mdx and compare its tokenizer table and Tokenizer choices section with src/lancedb/docs/src/js/type-aliases/BaseTokenizer.md and src/lancedb/python/python/lancedb/index.py. Read the referenced PW-1/PW-2 context before editing. Done means the docs list code, explain code searching and query usage, and state the identifier-splitting and stemming/stop-word limitations accurately.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

documentation

Bug bash: Ready to fix

Bug bash priority: Low · critical-fix: no
From the FTS for Code bug bash (2026-10-01), findings: sdkdocs-7.md. Repros ran against released artifacts (pylance 12.0.0 / 13.0.0b18, lancedb 0.39.0 / 0.40.0b12, @lancedb/lancedb 0.40.0-beta.12) unless stated. $S is the bug bash scratch dir.

Docs gap, not dispatched.

  • Category: docs gap
  • Environment: lancedb/docs repo, main at 7fa2ff6 (2026-09-24), cloned read-only. src/lancedb/docs at v0.40.0-beta.12. Checked against lancedb 0.40.0b12 / @lancedb/lancedb 0.40.0-beta.12
  • Artifacts: as above
  • Target tracker: GitHub lancedb/docs

Repro

$ grep -rn -i 'split_identifiers\|analyzer=\|base_tokenizer="code"\|code analyzer\|splitIdentifiers' docs tests   # in lancedb/docs
(no hits other than unrelated icon="code" attributes)

docs/indexing/fts-index.mdx:88:

| `base_tokenizer` | str | `"simple"` | Text splitting method (`simple`, `whitespace`, `raw`, `ngram`, `icu`, `jieba/*`, or `lindera/*`) |

The "Tokenizer choices" section (fts-index.mdx:107-119) has no code entry. src/lancedb/docs/src/js/type-aliases/BaseTokenizer.md:10-19 mirrors the TS union without "code". The Python FTS docstring (src/lancedb/python/python/lancedb/index.py:136-145) also lists no "code".

Even so, everything on the query side already works from both SDKs on a code index, whether pylance built it locally or LanceDB Enterprise SQL built it remotely with split_identifiers = true. My parity runs (parity_local.py, parity_remote.py, ts/parity.mjs, ts/parity_remote.mjs, scores.py, strq.py) returned identical row sets in pylance, lancedb Python local and remote, and lancedb TS local and remote. That covers match, phrase, AUTO fuzzy, AND, boolean, hybrid, string queries with code punctuation, and Table.tokenize. BM25 scores were identical too:

match 'user'         pylance=[0, 3] lancedb=[0, 3]          (remote py [0, 3], TS local/remote [0,3])
phrase 'userName'    pylance= [0, 3] lancedb= [0, 3]
user local [(0, 1.0618), (3, 1.425)] remote [(0, 1.0618), (3, 1.425)]
Table.tokenize: [('getusername', 0), ('get', 0), ('user', 1), ('name', 2), ('user_id', 3), ('user', 3), ('id', 4), ...]

Expected behavior

fts-index.mdx lists code with a short "searching source code" subsection. The subsection covers what the code tokenizer does, that stemming and stop words should be off for it (see PW-2), and how to query with MatchQuery/PhraseQuery. Until PW-1 lands, it should also say that identifier splitting is only available via pylance or LanceDB Enterprise SQL.

Evidence: parity results above; LanceDB Enterprise skill doc above.

Suspected root cause

No lancedb or lancedb/docs PR followed lance#7681 (plan "What changed").

Fix direction

Add code to the tokenizer table and a code-search subsection on the docs site, after or together with the PW-1/PW-2 SDK fixes so the documented defaults are right.

Ngôn ngữ chính
Python
Star
11
Fork
13
Merge trung bình
1 ngày 12 giờ
Pull request đã merge (30 ngày)
9

Chuẩn bị môi trường

Dự án này không cung cấp dev container, Dockerfile hay hướng dẫn đóng góp, nên bạn cần tự thiết lập môi trường: hãy bắt đầu từ README và xem hướng dẫn đóng góp lần đầu của chúng tôi để biết các bước chung.

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của lancedb/docs

Tất cả issue của lancedb/docs

Issue tương tự

Thêm issue về Python

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.