openvinotoolkit/openvino_tokenizers
OpenVINO Tokenizers extension
openvinotoolkit/openvino_tokenizers è adatto ai principianti?
I maintainer di openvinotoolkit/openvino_tokenizers di solito rispondono a una pull request entro 1 giorno. Al momento non è aperta nessuna issue adatta ai principianti; l'elenco qui sotto mostra le altre issue che abbiamo per questo repository.
- Stelle
- 60
- Fork
- 68
- Issue aperte per principianti
- 0
- Issue indicizzate
- 6
- Merge medio
- 1g 1h
- PR unite (30g)
- 13
- Lingua principale
- C++
- Licenza
- Apache-2.0
- Ultimo push su GitHub
- 12/11/2026
- Ultima indicizzazione
- 19/9/2026
- Guida per i contributori
- Nessuna guida per i contributori
- Codice di condotta
- Nessun codice di condotta
- Label per principianti
- Nessuna label per principianti indicizzata
Come contribuire a openvinotoolkit/openvino_tokenizers
- Non c'è una guida per contribuire: parti dal README e da alcune pull request accettate di recente per capire come si propongono le modifiche.
- I tuoi contributi saranno pubblicati con la licenza Apache-2.0 del progetto.
- Segui il repository per sapere quando si apre una nuova issue adatta ai principianti, oppure guarda le altre issue qui sotto.
Le issue su cui forse qualcuno sta già lavorando sono in fondo alla lista. Ordina tutto per data
-
Converted BertNormalizer / Lowercase tokenizers case-fold instead of lowercasing; clean_text retains U+FFFD / private-use charactersForse di nuovo libera @armnkumar321-spec l’ha presa 8 giorni fa e non c’è nessuna pull request aperta. Aperta
Difficoltà 4/5 3-5 giorni Idoneità per principianti 35/100
openvinotoolkit/openvino_tokenizers#805 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
BPE tokenizer crashes ("invalid unordered_map key") when model.vocab has an id gap below new tokensForse di nuovo libera @pavel-esir l’ha presa 40 giorni fa e non c’è nessuna pull request aperta. Aperta
Difficoltà 4/5 3-5 giorni Idoneità per principianti 32/100
openvinotoolkit/openvino_tokenizers#780 · 3 commenti · 1 assegnatario ·
I maintainer di solito rispondono entro 1 giorno
-
Enhance Ragged Tensor Packing with Binary SerializationForse di nuovo libera @10vulture1005 l’ha presa 41 giorni fa e non c’è nessuna pull request aperta. Aperta
Difficoltà 5/5 Più di una settimana Idoneità per principianti 45/100
openvinotoolkit/openvino_tokenizers#730 · 5 commenti ·
I maintainer di solito rispondono entro 1 giorno
-
Detokenizer keeps ▁ for BPE tokenizers with a top-level Metaspace decoder (NLLB, Reformer)Forse già presa @0z5a l’ha presa oggi. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
openvinotoolkit/openvino_tokenizers#840 ·
I maintainer di solito rispondono entro 1 giorno
-
RegexSplit mergedwithnext/mergedwithprevious mishandle adjacent delimiters, so repeated spaces tokenize differently from HFForse già presa @ANAMASGARD l’ha presa 15 giorni fa. Aperta
Difficoltà 3/5 1-2 giorni Idoneità per principianti 50/100
openvinotoolkit/openvino_tokenizers#810 ·
I maintainer di solito rispondono entro 1 giorno
-
BPETokenizer emits vocabulary tokens that the merges never build, so token ids differ from Hugging Face tokenizersForse già presa @ANAMASGARD l’ha presa 15 giorni fa. Aperta
Difficoltà 4/5 3-5 giorni Idoneità per principianti 25/100
openvinotoolkit/openvino_tokenizers#809 ·
I maintainer di solito rispondono entro 1 giorno