[Lane 6 · review] tokenizer.json parity — DARC review
メンテナーはふだん 1 日以内に返信
まだ誰も着手していません。
評価
- 難易度
- 4/5
- 見積もり時間
- 1〜2日
- 初心者へのやさしさ
- 18/100
- issue の種類
- 機能追加
- 明瞭さ
- 明確に書かれている
- 活発さ
- 活発
調査の方向性
Read parent issue #1321 and compare each acceptance criterion with the shipped tokenizer code and docs. Regenerate goldens with the pinned tokenizers version using the Lane 4 script, then run the listed Gradle fixture and test tasks and hand-check three cases in Python. Verify the cited semantics and the specified failure behavior, added-token vocabSize, decode fixture, and changelog; report pass or fail on #1321 and update or close #912 as appropriate.
索引モデルが issue の本文から書いたものです。
説明
Sub-issue of #1321 (HF tokenizer.json parity for BPE encoders).
Lane: 6 · Review
Skill needed: DARC review — must not have implemented any Lane 2 or Lane 4 task. Kotlin reading skills and access to a Python environment to re-run the goldens.
Size: s (a few hours)
Blocked by: all Lane 2 and Lane 4 sub-issues merged.
What to do
- D — Document. Re-read the parent's problem statement against the shipped code: are the four gaps closed, or did any lane narrow its scope? Record deviations as comments on the parent.
- A — Assess. Regenerate the goldens with the pinned
tokenizersversion (Lane 4 script) and run./gradlew :skainet-io:skainet-io-core:downloadTokenizerJsonGoldenFixtures :skainet-io:skainet-io-core:jvmTest :skainet-io:skainet-io-core:linuxX64Test. Spot-check three cases by hand with the Python library. - R — Research. Click every link in the parent, the docs page and the PR descriptions; confirm the
tokenizerssemantics cited (added-token matching, merges form) still hold at the pinned version. - C — Code. Check that unsupported normalizer / pre-tokenizer types fail loudly, that
vocabSizeincludes added tokens, that the #912 decode fixture is present, and thatCHANGELOG.mdlists the behaviour changes. - Close #912 if its four asks are met, or comment on it with what remains.
Acceptance
- Written review comment on #1321 with a pass/fail per acceptance criterion of the parent
- Docs support matrix matches the code
- #912 closed or updated
- Result reported back on #1321 (then the parent can be closed)
Notes
@DarcValidated targets TensorOps functions and does not apply to the tokenizer package; the review comment on the parent is the durable record here.
- 主要言語
- Kotlin
- スター
- 52
- フォーク
- 15
- 平均マージ
- 1日 8時間
- マージ済み PR（30日）
- 37
環境構築
- Dockerfile・Docker Compose ファイルなし
- プルリクエストのテンプレートなし
- コントリビューションガイドを読む
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
SKaiNET-developers/SKaiNET のほかの issue
-
coding good first issue platform size:xs skill:js sub-issue
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
SKaiNET-developers/SKaiNET#1232 ·
メンテナーはふだん 1 日以内に返信
-
compute-backend dsl/api enhancement size:m skill:kotlin-core skill:numerics
難易度 5/5 1週間以上 初心者へのやさしさ 18/100
SKaiNET-developers/SKaiNET#1343 ·
メンテナーはふだん 1 日以内に返信
-
compute-backend dsl/api enhancement size:m skill:kotlin-core skill:numerics
難易度 5/5 1週間以上 初心者へのやさしさ 12/100
SKaiNET-developers/SKaiNET#1342 ·
メンテナーはふだん 1 日以内に返信
-
skeep tracking
難易度 5/5 1週間以上 初心者へのやさしさ 15/100
SKaiNET-developers/SKaiNET#1331 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
documentation good first issue size:s skill:docs sub-issue
難易度 3/5 1〜2日 初心者へのやさしさ 78/100
SKaiNET-developers/SKaiNET#1329 ·
メンテナーはふだん 1 日以内に返信
SKaiNET-developers/SKaiNET の issue をすべて見る
似ている issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 65/100
メンテナーはふだん 2 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
rustyrazorblade/easy-db-lab#1017 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
-
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
callstack/react-native-brownfield#492 · コメント 1 件 ·
メンテナーはふだん 4 日以内に返信
-
fix: retain the best partial noise-correction solution対応中かも このイシューにリンクされたプルリクエストがオープン中、またはマージ済みです。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
world-federation-of-advertisers/cross-media-measurement#4653 ·
メンテナーはふだん 1 日以内に返信