Update Gemma tokenizer.json after Google's recent fix

Abierto Apto para principiantes
#1,057 0 comentarios 0 reacciones 0 asignados Ver en GitHub

Los mantenedores suelen responder en 1 día

Nadie ha tomado este issue todavía.

Evaluación

Dificultad
2/5
Tiempo estimado
1-3 horas
Aptitud para principiantes
72/100
Tipo de issue
Error
Claridad
Bastante claro
Estado de actividad
Activo
Stack tecnológico
json

Línea de trabajo

Lee las discusiones de Google enlazadas sobre Gemma 4 E4B, E2B y 12B para identificar las correcciones del tokenizador que se fusionaron. Después, localiza los archivos tokenizer.json correspondientes en los repositorios de FLM en Hugging Face. Actualiza cada archivo del tokenizador por separado y compáralo con las versiones corregidas de Google. El trabajo estará terminado cuando los tokenizadores de los tres repositorios incluyan las correcciones.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

Google recently updated their Gemma 4 tokenizers to resolve an issue that could result in garbage output.

Here is a pull request from Google for the update in Gemma 4 E4B:
https://huggingface.co/google/gemma-4-E4B-it/discussions/50
Here for Gemma 4 E2B:
https://huggingface.co/google/gemma-4-E2B-it/discussions/51
And here is the fix PR for Gemma 4 12B:
https://huggingface.co/google/gemma-4-12B-it/discussions/55

Note that I provided links to PRs so that it's easier to read the background/explanation of this issue, but all of them are already merged. All tokenizers are different files so they need to be updated separately.
This is easy-ish to fix for the end user (we can just substitute the tokenizer.json file in ~/.config/flm/(model), but it would be nice to see all the fixed tokenizers in FLM Huggingface repos too!

Example reproduction of the issue for Gemma 4 E4B, from Google:
Prompt the model to 'Please repeat the following string exactly, with nothing else: "drawingCodehint"'
Without the tokenizer fix, the model responds with non-latin letters and random-ish output. With the fix, it correctly follows the instruction.

Lenguaje dominante
C++
Estrellas
2k
Forks
176
Merge medio
11 h 34 min
PR fusionados (30 d)
192

Preparar el entorno

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de ROCm/FastFlowLM

Todos los issues de ROCm/FastFlowLM

Issues similares

Más issues de C++

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.