Better default minisearch tokenizer for Chinese documents

描述

no

贡献者指南

技术栈

typescriptnodejsvue

领域

searchdocumentationfrontend

议题类型

feature

难度面向新贡献者的预计实现难度，1 表示很小改动，5 表示专家级工作。

3

预计时间有经验贡献者完成调查、实现、测试并准备 pull request 的粗略时间范围。

1-3 hours

活动状态议题当前的可参与程度：新鲜、活跃、陈旧、阻塞或等待维护者输入。

fresh

清晰度议题是否清楚说明期望改动、验收标准和下一步。

clear

前置要求

Basic knowledge of full text searchUnderstanding of tokenization

新手友好度1-100 的估计分数，表示该议题对首次贡献者的友好程度。

40

研究方向

Investigate the current minisearch tokenizer configuration in VitePress (likely in src/node/search.ts or similar). The issue is about improving the default tokenizer to handle Chinese text. Research possible integrations with Chinese segmentation libraries like 'jieba' or 'nodejieba'. Consider making the tokenizer configurable or adding a custom default that uses a simple unigram or bigram approach for CJK characters. Look at existing discussions in the issue comments for specific suggestions.