microsoft/Tokenizer
Xem trên GitHubTypescript and .NET implementation of BPE tokenizer for OpenAI LLMs.
- Star
- 213
- Fork
- 37
- Issue cho người mới đang mở
- 0
- Issue đã lập chỉ mục
- 4
- Merge trung bình
- 5 ngày 1 giờ
- Pull request đã merge (30 ngày)
- 5
- Ngôn ngữ chính
- C#
- Giấy phép
- MIT
- Lần push lên GitHub gần nhất
- 10/9/2026
- Lập chỉ mục gần nhất
- 19/9/2026
- Hướng dẫn đóng góp
- Hướng dẫn đóng góp
- Quy tắc ứng xử
- Quy tắc ứng xử
- Label cho người mới
- Chưa lập chỉ mục label nào cho người mới
Đang tải issue
-
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 35/100
-
deepseek support? Đang mở
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 15/100
-
Support Llama3.1 tokenization Đang mở
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 35/100
-
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 35/100