Better default minisearch tokenizer for Chinese documents

Beschreibung

no

Contributor Guide

Tech Stack

typescriptnodejsvue

Domain

searchdocumentationfrontend

Issue Type

feature

SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.

3

Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.

1-3 hours

AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.

fresh

KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.

clear

Voraussetzungen

Basic knowledge of full text searchUnderstanding of tokenization

EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.

40

Research-Richtung

Investigate the current minisearch tokenizer configuration in VitePress (likely in src/node/search.ts or similar). The issue is about improving the default tokenizer to handle Chinese text. Research possible integrations with Chinese segmentation libraries like 'jieba' or 'nodejieba'. Consider making the tokenizer configurable or adding a custom default that uses a simple unigram or bigram approach for CJK characters. Look at existing discussions in the issue comments for specific suggestions.