Hacktoberfest 2026: los issues que los mantenedores marcaron para octubre, abiertos y aptos para principiantes. Explorar issues de Hacktoberfest

Does it support Wordpiece tokenizer?

Abierto
  • ¿Algo no está bien?
#71 0 comentarios 0 reacciones 0 asignados Ver en GitHub

Nadie ha tomado este issue todavía.

Evaluación

Dificultad
2/5
Tiempo estimado
1-3 horas
Aptitud para principiantes
25/100
Tipo de issue
Documentación
Claridad
Necesita aclaración
Estado de actividad
Estancado
Stack tecnológico
cpp
Área
documentation

Línea de trabajo

Empieza revisando la documentación y los ejemplos del repositorio sobre la compatibilidad con tokenizers. Comprueba si WordPiece está expuesto y si existe una ubicación para un ejemplo; se considera terminado cuando haya una respuesta clara sobre la compatibilidad con un ejemplo, o se documente la carencia si no existe ningún ejemplo.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

Does it support Wordpiece tokenizer?

if it does, may I know some examples that create a Wordpiece tokenizer

Lenguaje dominante
C++
Estrellas
512
Forks
132
Sin PR fusionados en 30 d

Preparar el entorno

Aún no hemos revisado los archivos de configuración de este proyecto. Empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de mlc-ai/tokenizers-cpp

Todos los issues de mlc-ai/tokenizers-cpp

Issues similares

Más issues de C++

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.