Hacktoberfest 2026: những issue maintainer đã đánh dấu cho tháng Mười, đang mở và phù hợp người mới. Xem issue Hacktoberfest

[Lane 6 · review] tokenizer.json parity — DARC review

Đang mở
  • Có gì không ổn?
#1,330 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
4/5
Thời gian dự kiến
1-2 ngày
Mức phù hợp với người mới
18/100
Loại issue
Tính năng
Độ rõ ràng
Đặc tả rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
kotlin, python
Lĩnh vực
machine-learning, testing-qa

Hướng nghiên cứu

Read parent issue #1321 and compare each acceptance criterion with the shipped tokenizer code and docs. Regenerate goldens with the pinned tokenizers version using the Lane 4 script, then run the listed Gradle fixture and test tasks and hand-check three cases in Python. Verify the cited semantics and the specified failure behavior, added-token vocabSize, decode fixture, and changelog; report pass or fail on #1321 and update or close #912 as appropriate.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

assessment size:s skill:review sub-issue

Sub-issue of #1321 (HF tokenizer.json parity for BPE encoders).

Lane: 6 · Review
Skill needed: DARC review — must not have implemented any Lane 2 or Lane 4 task. Kotlin reading skills and access to a Python environment to re-run the goldens.
Size: s (a few hours)
Blocked by: all Lane 2 and Lane 4 sub-issues merged.

What to do

  1. D — Document. Re-read the parent's problem statement against the shipped code: are the four gaps closed, or did any lane narrow its scope? Record deviations as comments on the parent.
  2. A — Assess. Regenerate the goldens with the pinned tokenizers version (Lane 4 script) and run ./gradlew :skainet-io:skainet-io-core:downloadTokenizerJsonGoldenFixtures :skainet-io:skainet-io-core:jvmTest :skainet-io:skainet-io-core:linuxX64Test. Spot-check three cases by hand with the Python library.
  3. R — Research. Click every link in the parent, the docs page and the PR descriptions; confirm the tokenizers semantics cited (added-token matching, merges form) still hold at the pinned version.
  4. C — Code. Check that unsupported normalizer / pre-tokenizer types fail loudly, that vocabSize includes added tokens, that the #912 decode fixture is present, and that CHANGELOG.md lists the behaviour changes.
  5. Close #912 if its four asks are met, or comment on it with what remains.

Acceptance

  • Written review comment on #1321 with a pass/fail per acceptance criterion of the parent
  • Docs support matrix matches the code
  • #912 closed or updated
  • Result reported back on #1321 (then the parent can be closed)

Notes

@DarcValidated targets TensorOps functions and does not apply to the tokenizer package; the review comment on the parent is the durable record here.

Ngôn ngữ chính
Kotlin
Star
52
Fork
15
Merge trung bình
1 ngày 8 giờ
Pull request đã merge (30 ngày)
37

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của SKaiNET-developers/SKaiNET

Tất cả issue của SKaiNET-developers/SKaiNET

Issue tương tự

Thêm issue về Kotlin

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.