Update Gemma tokenizer.json after Google's recent fix
Los mantenedores suelen responder en 1 día
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 2/5
- Tiempo estimado
- 1-3 horas
- Aptitud para principiantes
- 72/100
- Tipo de issue
- Error
- Claridad
- Bastante claro
- Estado de actividad
- Activo
- Stack tecnológico
- json
- Área
- machine-learning
Línea de trabajo
Lee las discusiones de Google enlazadas sobre Gemma 4 E4B, E2B y 12B para identificar las correcciones del tokenizador que se fusionaron. Después, localiza los archivos tokenizer.json correspondientes en los repositorios de FLM en Hugging Face. Actualiza cada archivo del tokenizador por separado y compáralo con las versiones corregidas de Google. El trabajo estará terminado cuando los tokenizadores de los tres repositorios incluyan las correcciones.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Google recently updated their Gemma 4 tokenizers to resolve an issue that could result in garbage output.
Here is a pull request from Google for the update in Gemma 4 E4B:
https://huggingface.co/google/gemma-4-E4B-it/discussions/50
Here for Gemma 4 E2B:
https://huggingface.co/google/gemma-4-E2B-it/discussions/51
And here is the fix PR for Gemma 4 12B:
https://huggingface.co/google/gemma-4-12B-it/discussions/55
Note that I provided links to PRs so that it's easier to read the background/explanation of this issue, but all of them are already merged. All tokenizers are different files so they need to be updated separately.
This is easy-ish to fix for the end user (we can just substitute the tokenizer.json file in ~/.config/flm/(model), but it would be nice to see all the fixed tokenizers in FLM Huggingface repos too!
Example reproduction of the issue for Gemma 4 E4B, from Google:
Prompt the model to 'Please repeat the following string exactly, with nothing else: "drawingCodehint"'
Without the tokenizer fix, the model responds with non-latin letters and random-ish output. With the fix, it correctly follows the instruction.
- Lenguaje dominante
- C++
- Estrellas
- 2k
- Forks
- 176
- Merge medio
- 11 h 34 min
- PR fusionados (30 d)
- 192
Preparar el entorno
- Incluye un Dockerfile o un archivo de Docker Compose
- Sin plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de ROCm/FastFlowLM
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
ROCm/FastFlowLM#757 ·
Los mantenedores suelen responder en 1 día
-
No valid checkpoint to restore + Max length reached on multi-turn tool calls (Qwen3.6-MoE, NPU)Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
ROCm/FastFlowLM#744 · 2 comentarios ·
Los mantenedores suelen responder en 1 día
-
Truncated tool call is emitted as a complete one (unterminated heredoc reaches the client)Posiblemente ocupada @Javinator9889 la tomó hace 59 días. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
ROCm/FastFlowLM#741 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
Download timeoutPosiblemente ocupada @stdevPavelmc la tomó hace 187 días. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 74/100
ROCm/FastFlowLM#520 · 7 comentarios ·
Los mantenedores suelen responder en 1 día
-
[Nice-to-have] /v1/pingAbierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
ROCm/FastFlowLM#434 · 1 comentario ·
Los mantenedores suelen responder en 1 día
Todos los issues de ROCm/FastFlowLM
Issues similares
-
documentation GPU low priority
Dificultad 1/5 1-3 horas Aptitud para principiantes 87/100
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
Simba-Avionic/srp#510 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
Los mantenedores suelen responder en 1 día
-
useless statementAbierto
Dificultad 1/5 Menos de una hora Aptitud para principiantes 86/100
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 74/100