Hacktoberfest 2026：メンテナが10月に向けて印を付けた、オープンで初心者向けの issue。 Hacktoberfest の issue を見る

[Lane 5 · docs] tokenizer.json parity — maturity gate bullet, one documented entry point, tokenizer.json ↔ GGUF field mapping

オープン 初心者向け
  • 何か問題がありますか？
#478 コメント 1 件 リアクション 0 件 担当者 0 名 GitHub で見る

メンテナーはふだん 1 日以内に返信

まだ誰も着手していません。

評価

難易度
2/5
見積もり時間
1〜3時間
初心者へのやさしさ
78/100
issue の種類
ドキュメント
明瞭さ
明確に書かれている
活発さ
活発
技術スタック
kotlin
領域
documentation

調査の方向性

指定された3つのAsciiDocページから始めます: docs/modules/ROOT/pages/how-to/add-model.adoc、reference/tokenizer-api.adoc、explanation/tokenizer-internals.adoc。Kotlinのfactoryファイルを読み、ドキュメントに記載されたエントリーポイントを確認し、.github/workflows/docs.ymlを使ってドキュメントのビルドコマンドを見つけます。maturity gateからgolden testとgeneratorへのリンクがあり、APIページで推奨パスとlegacyパスがissueリンク付きで示され、internalsページに要求されたフィールドの対応付けがあり、結果が#471で報告されれば完了です。

索引モデルが issue の本文から書いたものです。

説明

documentation good first issue size:xs skill:docs sub-issue

Sub-issue of #471 (tokenizer.json parity gate).

Lane: 5 · Docs
Skill needed: AsciiDoc. You should be able to read the two Kotlin factory files to describe what they do; no build knowledge.
Size: xs–s (an hour or two)
Blocked by: nothing; update once the Lane 2 PRs merge.

What to do

  1. add-model.adoc §6 "The maturity gate": add a bullet "Tokenizer golden parity vs Hugging Face tokenizers" — a golden JSON under tests/tokenizer-goldens/ for the family's tokenizer.json, replayed by TokenizerJsonGoldenParityTest (Lane 4), passing for the entry point the family actually uses. Point to the script that generates it.
  2. reference/tokenizer-api.adoc: it presents GGUFTokenizer first and lists GGUFTokenizer.fromTokenizerJson as the way to load a tokenizer.json. Rewrite the "Implementations" section so that TokenizerFactory is the documented entry point, GGUFTokenizer.fromTokenizerJson is marked as the legacy path used by the SafeTensors CLIs with a link to #330, and the known divergences (from #471) are listed with their issue links.
  3. explanation/tokenizer-internals.adoc: add a short "tokenizer.json vs GGUF metadata" subsection — which fields map to which (model.merges ↔ tokenizer.ggml.merges, added_tokens ↔ token_type CONTROL/USER_DEFINED, pre_tokenizer.Metaspace.prepend_scheme ↔ tokenizer.ggml.add_space_prefix), and that post_processor is not applied (callers add BOS/EOS).
  4. Build the docs with the repo's Antora setup if you can (.github/workflows/docs.yml shows the command); otherwise a careful GitHub preview is acceptable for a first PR.

Acceptance

  • Maturity gate lists the tokenizer golden with a link to the test and the script
  • tokenizer-api.adoc names one preferred entry point and links #330 and #471
  • Field mapping table in tokenizer-internals.adoc
  • Result reported back on #471

Notes

The engine repo is adding a tokenizer.json support matrix page (SKaiNET#1321, docs lane). Link to it rather than duplicating which normalizers / pre-tokenizers the engine supports.

主要言語
Kotlin
スター
8
フォーク
3
平均マージ
19時間 45分
マージ済み PR（30日）
38

環境構築

このプロジェクトには開発コンテナ、Dockerfile、コントリビューションガイドがありません。まず README を読み、一般的な手順ははじめてのコントリビューションガイドを参照してください。

はじめの一歩

  1. issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
  2. 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
  3. リポジトリをフォークし、ブランチを切って変更します。
  4. issue 番号を参照したプルリクエストを送ります。

SKaiNET-developers/SKaiNET-transformers のほかの issue

SKaiNET-developers/SKaiNET-transformers の issue をすべて見る

似ている issue

Kotlin の issue をもっと見る

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。