Finish implementation of MLC_ENABLE_SENTENCEPIECE_TOKENIZER
Personne n'a encore pris cette issue.
Évaluation
- Difficulté
- 2/5
- Temps estimé
- 1-3 heures
- Accessibilité débutants
- 45/100
- Type d'issue
- Bug
- Clarté
- Plutôt claire
- Activité
- À l'abandon
- Stack technique
- cmake, cpp
- Domaine
- build-system
Piste de recherche
Commencez dans CMakeLists.txt autour de la ligne 186 et suivez comment MLC_ENABLE_SENTENCEPIECE_TOKENIZER contrôle les références à SentencePiece. Vérifiez la configuration CMake avec l’option OFF et confirmez que SentencePiece est entièrement ignoré, y compris la liaison avec sa bibliothèque ; l’issue n’indique aucun test à exécuter.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Description
There is a cmake option called MLC_ENABLE_SENTENCEPIECE_TOKENIZER but as today, when OFF, it does nt totally disable/skip sentencepiece, eg that line still links with the sentpiece lib:
https://github.com/mlc-ai/tokenizers-cpp/blob/f77710965a3bcae85b7a00bdddbfc1adadef0e32/CMakeLists.txt#L186
Would you mind if I add some small retouches to really fully disable sentpiece when that option is OFF?
Best regards
WT
- Langage dominant
- C++
- Étoiles
- 514
- Forks
- 132
- Métriques de merge des PR
- Aucune PR mergée en 30 j
Préparer son environnement
Ce projet ne fournit ni conteneur de développement, ni Dockerfile, ni guide de contribution : l'installation est à votre charge. Commencez par son README, et consultez notre guide de la première contribution pour les étapes générales.
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Autres issues de mlc-ai/tokenizers-cpp
-
Missing Cargo.lockOuverte
Difficulté 2/5 1-3 heures Accessibilité débutants 68/100
mlc-ai/tokenizers-cpp#96 · 1 commentaire · 1 réaction ·
-
Difficulté 2/5 1-3 heures Accessibilité débutants 62/100
mlc-ai/tokenizers-cpp#88 · 2 réactions ·
-
Difficulté 3/5 1-2 jours Accessibilité débutants 55/100
mlc-ai/tokenizers-cpp#95 ·
-
Difficulté 3/5 1-2 jours Accessibilité débutants 35/100
mlc-ai/tokenizers-cpp#94 · 1 réaction ·
-
Difficulté 4/5 3-5 jours Accessibilité débutants 35/100
mlc-ai/tokenizers-cpp#91 ·
Toutes les issues de mlc-ai/tokenizers-cpp
Issues similaires
-
Remove source files from packaging for deb, zip, etcPeut-être pris Une pull request liée à cette issue est ouverte ou déjà fusionnée. Ouverte
Difficulté 2/5 1-3 heures Accessibilité débutants 85/100
OpenSpace/OpenSpace#4353 · 1 commentaire ·
Les mainteneurs répondent en général sous 5 jours
-
Scan commands do nothing after join or info until stopscanPeut-être pris Une pull request liée à cette issue est ouverte ou déjà fusionnée. Ouverte
Difficulté 2/5 1-3 heures Accessibilité débutants 86/100
justcallmekoko/ESP32Marauder#1656 ·
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 2/5 1-3 heures Accessibilité débutants 78/100
-
Decompiler: convertCharRef() in xml.y overflows its int4 accumulator on long character referencesPeut-être pris @kaayzouee l’a pris il y a 1 jour. Ouverte
Difficulté 2/5 1-3 heures Accessibilité débutants 76/100
NationalSecurityAgency/ghidra#10009 ·
Les mainteneurs répondent en général sous 2 jours
-
Difficulté 2/5 1-3 heures Accessibilité débutants 68/100
mutationpp/Mutationpp#337 ·