Better default minisearch tokenizer for Chinese documents

Descrizione

no

Guida contributor

Tech stack

typescriptnodejsvue

Dominio

searchdocumentationfrontend

Tipo issue

feature

DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.

3

Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.

1-3 hours

Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.

fresh

ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.

clear

Prerequisiti

Basic knowledge of full text searchUnderstanding of tokenization

Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.

40

Direzione di ricerca

Investigate the current minisearch tokenizer configuration in VitePress (likely in src/node/search.ts or similar). The issue is about improving the default tokenizer to handle Chinese text. Research possible integrations with Chinese segmentation libraries like 'jieba' or 'nodejieba'. Consider making the tokenizer configurable or adding a custom default that uses a simple unigram or bigram approach for CJK characters. Look at existing discussions in the issue comments for specific suggestions.