Hacktoberfest 2026: los issues que los mantenedores marcaron para octubre, abiertos y aptos para principiantes. Explorar issues de Hacktoberfest

[Lane 5 · docs] tokenizer.json parity — maturity gate bullet, one documented entry point, tokenizer.json ↔ GGUF field mapping

Abierto Apto para principiantes
  • ¿Algo no está bien?
#478 1 comentario 0 reacciones 0 asignados Ver en GitHub

Los mantenedores suelen responder en 1 día

Nadie ha tomado este issue todavía.

Evaluación

Dificultad
2/5
Tiempo estimado
1-3 horas
Aptitud para principiantes
78/100
Tipo de issue
Documentación
Claridad
Bien especificado
Estado de actividad
Activo
Stack tecnológico
kotlin
Área
documentation

Línea de trabajo

Empieza por las tres páginas AsciiDoc indicadas: docs/modules/ROOT/pages/how-to/add-model.adoc, reference/tokenizer-api.adoc y explanation/tokenizer-internals.adoc. Lee los archivos de fábrica de Kotlin para confirmar el punto de entrada documentado y usa .github/workflows/docs.yml para encontrar el comando de compilación de la documentación. Se considera terminado cuando el control de madurez enlaza la prueba golden y el generador, la página de la API identifica las rutas preferida y heredada con enlaces a las incidencias, la página de internals incluye la correspondencia de campos solicitada y el resultado se comunica en #471.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

documentation good first issue size:xs skill:docs sub-issue

Sub-issue of #471 (tokenizer.json parity gate).

Lane: 5 · Docs
Skill needed: AsciiDoc. You should be able to read the two Kotlin factory files to describe what they do; no build knowledge.
Size: xs–s (an hour or two)
Blocked by: nothing; update once the Lane 2 PRs merge.

What to do

  1. add-model.adoc §6 "The maturity gate": add a bullet "Tokenizer golden parity vs Hugging Face tokenizers" — a golden JSON under tests/tokenizer-goldens/ for the family's tokenizer.json, replayed by TokenizerJsonGoldenParityTest (Lane 4), passing for the entry point the family actually uses. Point to the script that generates it.
  2. reference/tokenizer-api.adoc: it presents GGUFTokenizer first and lists GGUFTokenizer.fromTokenizerJson as the way to load a tokenizer.json. Rewrite the "Implementations" section so that TokenizerFactory is the documented entry point, GGUFTokenizer.fromTokenizerJson is marked as the legacy path used by the SafeTensors CLIs with a link to #330, and the known divergences (from #471) are listed with their issue links.
  3. explanation/tokenizer-internals.adoc: add a short "tokenizer.json vs GGUF metadata" subsection — which fields map to which (model.merges ↔ tokenizer.ggml.merges, added_tokens ↔ token_type CONTROL/USER_DEFINED, pre_tokenizer.Metaspace.prepend_scheme ↔ tokenizer.ggml.add_space_prefix), and that post_processor is not applied (callers add BOS/EOS).
  4. Build the docs with the repo's Antora setup if you can (.github/workflows/docs.yml shows the command); otherwise a careful GitHub preview is acceptable for a first PR.

Acceptance

  • Maturity gate lists the tokenizer golden with a link to the test and the script
  • tokenizer-api.adoc names one preferred entry point and links #330 and #471
  • Field mapping table in tokenizer-internals.adoc
  • Result reported back on #471

Notes

The engine repo is adding a tokenizer.json support matrix page (SKaiNET#1321, docs lane). Link to it rather than duplicating which normalizers / pre-tokenizers the engine supports.

Lenguaje dominante
Kotlin
Estrellas
8
Forks
3
Merge medio
1 d 16 h
PR fusionados (30 d)
48

Preparar el entorno

Este proyecto no incluye contenedor de desarrollo, Dockerfile ni guía de contribución, así que la configuración corre por tu cuenta: empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de SKaiNET-developers/SKaiNET-transformers

Todos los issues de SKaiNET-developers/SKaiNET-transformers

Issues similares

Más issues de Kotlin

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.