Hacktoberfest 2026: le issue che i maintainer hanno segnato per ottobre, aperte e adatte ai principianti. Sfoglia le issue Hacktoberfest

[Lane 5 · docs] tokenizer.json parity — maturity gate bullet, one documented entry point, tokenizer.json ↔ GGUF field mapping

Aperta Adatta ai principianti
  • Qualcosa non va?
#478 1 commento 0 reazioni 0 assegnatari Vedi su GitHub

I maintainer di solito rispondono entro 1 giorno

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
2/5
Tempo stimato
1-3 ore
Idoneità per principianti
78/100
Tipo di issue
Documentazione
Chiarezza
Specificata chiaramente
Stato di attività
Attiva
Stack tecnologico
kotlin
Ambito
documentation

Direzione di ricerca

Inizia dalle tre pagine AsciiDoc indicate: docs/modules/ROOT/pages/how-to/add-model.adoc, reference/tokenizer-api.adoc e explanation/tokenizer-internals.adoc. Leggi i file factory Kotlin per confermare il punto di ingresso documentato e usa .github/workflows/docs.yml per trovare il comando di build della documentazione. Il lavoro è completo quando il gate di maturità rimanda al golden test e al generatore, la pagina dell’API identifica i percorsi preferito e legacy con link alle issue, la pagina degli internals contiene la mappatura dei campi richiesta e il risultato viene riportato su #471.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

documentation good first issue size:xs skill:docs sub-issue

Sub-issue of #471 (tokenizer.json parity gate).

Lane: 5 · Docs
Skill needed: AsciiDoc. You should be able to read the two Kotlin factory files to describe what they do; no build knowledge.
Size: xs–s (an hour or two)
Blocked by: nothing; update once the Lane 2 PRs merge.

What to do

  1. add-model.adoc §6 "The maturity gate": add a bullet "Tokenizer golden parity vs Hugging Face tokenizers" — a golden JSON under tests/tokenizer-goldens/ for the family's tokenizer.json, replayed by TokenizerJsonGoldenParityTest (Lane 4), passing for the entry point the family actually uses. Point to the script that generates it.
  2. reference/tokenizer-api.adoc: it presents GGUFTokenizer first and lists GGUFTokenizer.fromTokenizerJson as the way to load a tokenizer.json. Rewrite the "Implementations" section so that TokenizerFactory is the documented entry point, GGUFTokenizer.fromTokenizerJson is marked as the legacy path used by the SafeTensors CLIs with a link to #330, and the known divergences (from #471) are listed with their issue links.
  3. explanation/tokenizer-internals.adoc: add a short "tokenizer.json vs GGUF metadata" subsection — which fields map to which (model.merges ↔ tokenizer.ggml.merges, added_tokens ↔ token_type CONTROL/USER_DEFINED, pre_tokenizer.Metaspace.prepend_scheme ↔ tokenizer.ggml.add_space_prefix), and that post_processor is not applied (callers add BOS/EOS).
  4. Build the docs with the repo's Antora setup if you can (.github/workflows/docs.yml shows the command); otherwise a careful GitHub preview is acceptable for a first PR.

Acceptance

  • Maturity gate lists the tokenizer golden with a link to the test and the script
  • tokenizer-api.adoc names one preferred entry point and links #330 and #471
  • Field mapping table in tokenizer-internals.adoc
  • Result reported back on #471

Notes

The engine repo is adding a tokenizer.json support matrix page (SKaiNET#1321, docs lane). Link to it rather than duplicating which normalizers / pre-tokenizers the engine supports.

Lingua principale
Kotlin
Stelle
8
Fork
3
Merge medio
19h 45m
PR unite (30g)
38

Preparare l'ambiente

Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di SKaiNET-developers/SKaiNET-transformers

Tutte le issue di SKaiNET-developers/SKaiNET-transformers

Issue simili

Altre issue su Kotlin

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.