Hacktoberfest 2026: những issue maintainer đã đánh dấu cho tháng Mười, đang mở và phù hợp người mới. Xem issue Hacktoberfest

huggingface/tokenizers

Đăng nhập để theo dõi Xem trên GitHub

💥 Fast State-of-the-Art Tokenizers optimized for Research and Production

huggingface/tokenizers có thân thiện với người mới không?

Trong 30 ngày gần nhất, huggingface/tokenizers đã merge 2 trên 19 pull request của người đóng góp bên ngoài, và maintainer thường phản hồi trong vòng 1 ngày. Hiện có 3 issue phù hợp với người mới đang mở.

Star
11.2k
Fork
1.2k
Issue cho người mới đang mở
3
Issue đã lập chỉ mục
128
Merge trung bình
2 ngày 17 giờ
Pull request đã merge (30 ngày)
35
Ngôn ngữ chính
Rust
Giấy phép
Apache-2.0
Lần push lên GitHub gần nhất
6/10/2026
Lập chỉ mục gần nhất
17/9/2026
Hướng dẫn đóng góp
Không có quy tắc ứng xử
Label cho người mới
Chưa lập chỉ mục label nào cho người mới

Cách đóng góp cho huggingface/tokenizers

  1. Hãy đọc hướng dẫn đóng góp trước: nó cho biết maintainer muốn thay đổi được đề xuất, kiểm thử và review ra sao.
  2. Đóng góp của bạn sẽ được phát hành theo giấy phép Apache-2.0 của dự án.
  3. Chọn một trong 3 issue phù hợp với người mới đang mở bên dưới và bình luận rằng bạn muốn làm nó trước khi bắt đầu.
Phù hợp cho người mới Tất cả
Đang mở Tất cả

Các issue có thể đã có người làm được xếp cuối danh sách. Sắp xếp tất cả theo ngày

  • Don't emit control tokens in untrusted text segments
    Đang mở
    • Có gì không ổn?

    Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 8/100

    huggingface/tokenizers#2498 · 2 bình luận ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • Build abi3t wheels for Python 3.15 support
    Đang mở
    • Có gì không ổn?

    Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 55/100

    huggingface/tokenizers#2488 · 2 bình luận · 1 reaction ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • [Security] Load-time process abort when loading a malicious tokenizer.json (BPE merge buffer overrun)
    Có thể làm lại được Đang mở
    • Có gì không ổn?

    Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 68/100

    huggingface/tokenizers#2094 · 2 bình luận ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • Make huggingface-hub an optional dependency (extras)
    Đang mở
    • Có gì không ổn?
    Feature Request

    Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 45/100

    huggingface/tokenizers#1973 · 11 bình luận · 6 reaction ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • Serialization of Bytelevel for decoder and pre_tokenizer is missleading
    Có thể làm lại được Đang mở
    • Có gì không ổn?
    Stale

    Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 35/100

    huggingface/tokenizers#1960 · 1 bình luận ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • Tokenizer encode ignores pre-tokenizer when using right to left (rtl) digit splits with add_tokens
    Đang mở
    • Có gì không ổn?

    Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 45/100

    huggingface/tokenizers#1957 · 3 bình luận ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • `encode_batch` has suboptimal parallelization on high-core systems
    Đang mở
    • Có gì không ổn?
    Stale

    Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 25/100

    huggingface/tokenizers#1929 · 9 bình luận ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • De/tokenization on CUDA
    Đang mở
    • Có gì không ổn?
    Stale

    Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 30/100

    huggingface/tokenizers#1919 · 8 bình luận ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • do we have plan support java ，we need you
    Đang mở
    • Có gì không ổn?
    bindings

    Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 20/100

    huggingface/tokenizers#1918 · 11 bình luận · 1 reaction ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • `spm_precompiled` dependency bricks rust-analyzer in certain build setups
    Đang mở
    • Có gì không ổn?
    Stale

    Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 35/100

    huggingface/tokenizers#1917 · 2 bình luận ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • Decoding of AddedTokens containing Latin-Extended A characters are wrong
    Đang mở
    • Có gì không ổn?
    Stale

    Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 55/100

    huggingface/tokenizers#1915 · 4 bình luận ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • [Docs] `Encode Inputs` rendering issues
    Có thể làm lại được Đang mở
    • Có gì không ổn?
    Stale

    Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 48/100

    huggingface/tokenizers#1909 · 2 bình luận · 1 reaction ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • Guide: Compiling `tokenizers` on Android/Termux
    Đang mở
    • Có gì không ổn?
    Stale

    Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 42/100

    huggingface/tokenizers#1902 · 4 bình luận · 6 reaction ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • Performance: batch_encode scales poorly on high-core Server CPUs compared to sharded tokenizer instances
    Có thể làm lại được Đang mở
    • Có gì không ổn?
    Stale

    Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 38/100

    huggingface/tokenizers#1900 · 9 bình luận ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • Support splitting to chunks during encode
    Đang mở
    • Có gì không ổn?
    Feature Request

    Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 35/100

    huggingface/tokenizers#1897 · 2 bình luận ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • Upstream `RefMutGuard` / `RefMutContainer` to PyO3
    Đang mở
    • Có gì không ổn?

    Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 20/100

    huggingface/tokenizers#1890 · 2 bình luận · 2 reaction ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • Failed to build installable wheels
    Đang mở
    • Có gì không ổn?

    Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 42/100

    huggingface/tokenizers#1887 · 5 bình luận ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • Feature request: Characters delimiter argument
    Đang mở
    • Có gì không ổn?

    Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 30/100

    huggingface/tokenizers#1885 · 1 bình luận ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • Provide byte-level offsets for effective alignment in Cross-Tokenizer On-Policy Distillation
    Có thể làm lại được Đang mở
    • Có gì không ổn?

    Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 25/100

    huggingface/tokenizers#1881 · 1 reaction ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • rust tokenizer
    Đang mở
    • Có gì không ổn?

    Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 20/100

    huggingface/tokenizers#1879 · 2 bình luận ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • encode bytes directly
    Đang mở
    • Có gì không ổn?

    Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 35/100

    huggingface/tokenizers#1877 · 7 bình luận ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • Add an API for tokens to ids
    Đang mở
    • Có gì không ổn?

    Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 35/100

    huggingface/tokenizers#1876 ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • Add Middle-Truncation Option to Tokenizer
    Đang mở
    • Có gì không ổn?
    Feature Request

    Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 42/100

    huggingface/tokenizers#1871 · 2 bình luận ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • How to set the cache_dir in the Rust implementation?
    Đang mở
    • Có gì không ổn?

    Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 35/100

    huggingface/tokenizers#1868 · 3 bình luận ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • WordPiece can't always avoid <unk> even with ByteLevel pretokenization.
    Đang mở
    • Có gì không ổn?

    Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 45/100

    huggingface/tokenizers#1863 · 1 reaction ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • Breaking change in 0.21.2
    Đang mở
    • Có gì không ổn?

    Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 35/100

    huggingface/tokenizers#1855 · 3 bình luận ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • Question: bert normalizer CJK handling
    Đang mở
    • Có gì không ổn?

    Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 30/100

    huggingface/tokenizers#1854 ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • SentencePieceBPE + Unicode NFD preprocessing leads to noise ?
    Đang mở
    • Có gì không ổn?

    Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 35/100

    huggingface/tokenizers#1851 · 3 bình luận ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • memory allocation of 21474836480 bytes failed
    Đang mở
    • Có gì không ổn?

    Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 25/100

    huggingface/tokenizers#1847 · 1 bình luận ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • Trouble installing tokenizers (python) on AWS lambda arm64 image.
    Đang mở
    • Có gì không ổn?

    Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 55/100

    huggingface/tokenizers#1845 · 4 bình luận ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • `encode_special_tokens` is not saved for loading
    Có thể làm lại được Đang mở
    • Có gì không ổn?
    Feature Request

    Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 58/100

    huggingface/tokenizers#1839 · 3 bình luận ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • The parameter in initial_alphabet of the "class BpeTrainer(Trainer)" does not allow more than one character to initialized
    Đang mở
    • Có gì không ổn?

    Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 25/100

    huggingface/tokenizers#1829 · 1 reaction ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • Extra [SEP] added for ModernBERT decoder model
    Đang mở
    • Có gì không ổn?

    Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 45/100

    huggingface/tokenizers#1828 · 1 bình luận ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • Proposal: Replace regex in `whitespace.rs` with manual code for speed improvements
    Có thể làm lại được Đang mở
    • Có gì không ổn?

    Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 25/100

    huggingface/tokenizers#1825 ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • how can i only initiate one instance of tokenizer but use it in multi-process?
    Đang mở
    • Có gì không ổn?

    Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 15/100

    huggingface/tokenizers#1823 · 2 bình luận ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • Proposal: Faster `Whitespace` PreTokenizer Implementation (10–30% Speedup)
    Có thể làm lại được Đang mở
    • Có gì không ổn?

    Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 42/100

    huggingface/tokenizers#1821 · 2 bình luận ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • Cannot download test data: 'make test' and direct links fail with "Repository not found" / 404
    Đang mở
    • Có gì không ổn?

    Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 35/100

    huggingface/tokenizers#1820 · 1 bình luận ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • Inconsistent encoding of unknown tokens when they have special tokens as prefixes in the WordLevel Tokenizer
    Đang mở
    • Có gì không ổn?

    Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 35/100

    huggingface/tokenizers#1817 · 1 bình luận ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • Is it possible to return the count of truncated tokens?
    Đang mở
    • Có gì không ổn?

    Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 55/100

    huggingface/tokenizers#1813 · 1 bình luận ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • error: casting &T to &mut T is undefined behavior #1485
    Đang mở
    • Có gì không ổn?

    Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 25/100

    huggingface/tokenizers#1807 · 4 bình luận ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • Bugs encountered during training
    Đang mở
    • Có gì không ổn?
    good second issue

    Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 25/100

    huggingface/tokenizers#1795 · 1 bình luận ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • `WordPieceTrainer.train_from_iterator` is not deterministic
    Có thể làm lại được Đang mở
    • Có gì không ổn?

    Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 48/100

    huggingface/tokenizers#1794 · 2 bình luận ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • `end_of_word_suffix` is ignored
    Có thể làm lại được Đang mở
    • Có gì không ổn?

    Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 55/100

    huggingface/tokenizers#1793 · 4 bình luận · 1 reaction ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • Regression in THUDM/chatglm3-6b at least starting from **tokenizers-0.21.1**
    Đang mở
    • Có gì không ổn?

    Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 35/100

    huggingface/tokenizers#1790 · 1 bình luận ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • Hi, we need java /scala tokenizers bindings
    Đang mở
    • Có gì không ổn?

    Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 25/100

    huggingface/tokenizers#1787 · 5 bình luận ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • Add cp314t tests, mark extension modules as compatible, and ship free-threaded wheels
    Đang mở
    • Có gì không ổn?

    Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 48/100

    huggingface/tokenizers#1784 · 14 bình luận · 5 reaction ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • Possible (minor) inconsistency in`unk_token` argument between WordPiece and UnigramLM
    Đang mở
    • Có gì không ổn?

    Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 28/100

    huggingface/tokenizers#1779 · 1 bình luận ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • DebertaV2TokenizerFast and XLMRobertaTokenizerFast has overlapping offsets/CharSpans which leads to char_to_token() pointing to unexpected token
    Đang mở
    • Có gì không ổn?
    good second issue

    Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 35/100

    huggingface/tokenizers#1775 · 1 bình luận ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • How to debug tokenizers with python?
    Đang mở
    • Có gì không ổn?

    Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 20/100

    huggingface/tokenizers#1768 · 1 bình luận ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • Patching version 0.10.3 to fix invalid_reference_casting for legacy projects
    Đang mở
    • Có gì không ổn?

    Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 35/100

    huggingface/tokenizers#1765 · 1 bình luận ·

    Maintainer thường phản hồi trong vòng 1 ngày

Đang hiển thị 100 mục mới nhất

Trang này chỉ liệt kê những gì được lập chỉ mục gần đây. Bộ lọc nâng cao có toàn bộ kho, thu hẹp theo ngôn ngữ, độ khó và thời lượng.

Mở bộ lọc nâng cao

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.