Why MLC_ENABLE_SENTENCEPIECE_TOKENIZER OFF by default?
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 2/5
- Tiempo estimado
- 1-3 horas
- Aptitud para principiantes
- 45/100
- Tipo de issue
- Nueva funcionalidad
- Claridad
- Bastante claro
- Estado de actividad
- Estancado
- Stack tecnológico
- cpp
- Área
- build-system
Línea de trabajo
Comienza en CMakeLists.txt e inspecciona el valor predeterminado de MLC_ENABLE_SENTENCEPIECE_TOKENIZER; después, sigue la ruta deshabilitada en src/sentencepiece_tokenizer.cc. Ejecuta ./build_and_run.sh con el valor predeterminado actual y con la opción habilitada; se considera terminado cuando el destino de ejemplo previsto se compila y se ejecuta sin cambios manuales de configuración, o cuando la configuración requerida queda claramente establecida.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Should MLC_ENABLE_SENTENCEPIECE_TOKENIZER be on by default in CMakeLists.txt? I had to turn it on in order to successfully run ./build_and_run.sh to build the example target. Otherwise, I get a assert failure at src/sentencepiece_tokenizer.cc:
#else
std::unique_ptr<Tokenizer> Tokenizer::FromBlobSentencePiece(const std::string& model_blob) {
assert(false);
throw;
}
#endif // MLC_ENABLE_SENTENCEPIECE_TOKENIZER
- Lenguaje dominante
- C++
- Estrellas
- 512
- Forks
- 132
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Preparar el entorno
Aún no hemos revisado los archivos de configuración de este proyecto. Empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de mlc-ai/tokenizers-cpp
-
Missing Cargo.lockAbierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
mlc-ai/tokenizers-cpp#96 · 1 reacción ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 62/100
mlc-ai/tokenizers-cpp#88 · 2 reacciones ·
-
Dificultad 3/5 1-2 días Aptitud para principiantes 55/100
mlc-ai/tokenizers-cpp#95 ·
-
Dificultad 3/5 1-2 días Aptitud para principiantes 35/100
mlc-ai/tokenizers-cpp#94 ·
-
Dificultad 4/5 3-5 días Aptitud para principiantes 35/100
mlc-ai/tokenizers-cpp#91 ·
Todos los issues de mlc-ai/tokenizers-cpp
Issues similares
-
Dificultad 1/5 Menos de una hora Aptitud para principiantes 88/100
tenstorrent/tt-metal#58057 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 84/100
maplibre/maplibre-native#4690 ·
Los mantenedores suelen responder en 1 día
-
comp-query-execution
Dificultad 2/5 1-3 horas Aptitud para principiantes 84/100
ClickHouse/ClickHouse#122569 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 1/5 Menos de una hora Aptitud para principiantes 92/100
Los mantenedores suelen responder en 1 día
-
Dificultad 1/5 Menos de una hora Aptitud para principiantes 88/100