Finish implementation of MLC_ENABLE_SENTENCEPIECE_TOKENIZER
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 2/5
- Tiempo estimado
- 1-3 horas
- Aptitud para principiantes
- 45/100
- Tipo de issue
- Error
- Claridad
- Bastante claro
- Estado de actividad
- Estancado
- Stack tecnológico
- cmake, cpp
- Área
- build-system
Línea de trabajo
Comienza en CMakeLists.txt alrededor de la línea 186 y sigue cómo MLC_ENABLE_SENTENCEPIECE_TOKENIZER controla las referencias a SentencePiece. Verifica la configuración de CMake con la opción OFF y confirma que SentencePiece se omite por completo, incluido el enlace a su biblioteca; el issue no indica ningún test que ejecutar.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
There is a cmake option called MLC_ENABLE_SENTENCEPIECE_TOKENIZER but as today, when OFF, it does nt totally disable/skip sentencepiece, eg that line still links with the sentpiece lib:
https://github.com/mlc-ai/tokenizers-cpp/blob/f77710965a3bcae85b7a00bdddbfc1adadef0e32/CMakeLists.txt#L186
Would you mind if I add some small retouches to really fully disable sentpiece when that option is OFF?
Best regards
WT
- Lenguaje dominante
- C++
- Estrellas
- 514
- Forks
- 132
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Preparar el entorno
Este proyecto no incluye contenedor de desarrollo, Dockerfile ni guía de contribución, así que la configuración corre por tu cuenta: empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de mlc-ai/tokenizers-cpp
-
Missing Cargo.lockAbierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
mlc-ai/tokenizers-cpp#96 · 1 comentario · 1 reacción ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 62/100
mlc-ai/tokenizers-cpp#88 · 2 reacciones ·
-
Dificultad 3/5 1-2 días Aptitud para principiantes 55/100
mlc-ai/tokenizers-cpp#95 ·
-
Dificultad 3/5 1-2 días Aptitud para principiantes 35/100
mlc-ai/tokenizers-cpp#94 · 1 reacción ·
-
Dificultad 4/5 3-5 días Aptitud para principiantes 35/100
mlc-ai/tokenizers-cpp#91 ·
Todos los issues de mlc-ai/tokenizers-cpp
Issues similares
-
Bug: negative DECIMAL with fewer digits than its scale prints as "0.-5"Posiblemente ocupada @adsharma la tomó hoy. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
LadybugDB/ladybug#1311 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
Dificultad 1/5 Menos de una hora Aptitud para principiantes 91/100
FujiNetWIFI/fujinet-firmware#2045 ·
Los mantenedores suelen responder en 1 día
-
(S1 - Need confirmation)
Dificultad 2/5 1-3 horas Aptitud para principiantes 65/100
CleverRaven/Cataclysm-DDA#89159 ·
Los mantenedores suelen responder en 1 día
-
area:libnvmpi bug P3
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
gjrtimmer/jetson-nvmpi#33 ·
-
bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 74/100
Los mantenedores suelen responder en 1 día