Better default minisearch tokenizer for Chinese documents

Description

no

Guia do colaborador

Pilha de tecnologia

typescriptnodejsvue

Domain

searchdocumentationfrontend

Tipo Issue

feature

DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.

3

Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.

1-3 hours

Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.

fresh

ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.

clear

Prerequisites

Basic knowledge of full text searchUnderstanding of tokenization

Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.

40

Direção de pesquisa

Investigate the current minisearch tokenizer configuration in VitePress (likely in src/node/search.ts or similar). The issue is about improving the default tokenizer to handle Chinese text. Research possible integrations with Chinese segmentation libraries like 'jieba' or 'nodejieba'. Consider making the tokenizer configurable or adding a custom default that uses a simple unigram or bigram approach for CJK characters. Look at existing discussions in the issue comments for specific suggestions.