openvinotoolkit/openvino_tokenizers
OpenVINO Tokenizers extension
openvinotoolkit/openvino_tokenizers は初心者に優しい?
openvinotoolkit/openvino_tokenizers のメンテナーはふだん 1 日以内に PR へ返信します。 初心者向けのオープンな issue は今はありません。下の一覧に、このリポジトリのほかの issue があります。
- スター
- 60
- フォーク
- 68
- オープンの初心者向け issue
- 0
- 索引済み issue
- 6
- 平均マージ
- 1日 1時間
- マージ済み PR(30日)
- 13
- 主要言語
- C++
- ライセンス
- Apache-2.0
- 最終 GitHub push
- 2026年11月12日
- 最新の索引
- 2026年9月19日
- コントリビューションガイド
- コントリビューションガイドがありません
- 行動規範
- 行動規範がありません
- 初心者向けラベル
- 初心者向けラベルは索引されていません
openvinotoolkit/openvino_tokenizers にコントリビュートするには
- コントリビューションガイドはないので、README と最近マージされた PR をいくつか読んで、変更の出し方をつかみましょう。
- あなたのコントリビュートはプロジェクトの Apache-2.0 ライセンスで公開されます。
- リポジトリをフォローすれば、新しい初心者向け issue が出たときにわかります。下のほかの issue も見てみましょう。
誰かが対応中かもしれないイシューは最後に並べています。 すべて日付順に表示
-
Converted BertNormalizer / Lowercase tokenizers case-fold instead of lowercasing; clean_text retains U+FFFD / private-use characters再び着手できるかも @armnkumar321-spec が 8 日前に担当しましたが、オープン中のプルリクエストはありません。 オープン
難易度 4/5 3〜5日 初心者へのやさしさ 35/100
openvinotoolkit/openvino_tokenizers#805 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
BPE tokenizer crashes ("invalid unordered_map key") when model.vocab has an id gap below new tokens再び着手できるかも @pavel-esir が 40 日前に担当しましたが、オープン中のプルリクエストはありません。 オープン
難易度 4/5 3〜5日 初心者へのやさしさ 32/100
openvinotoolkit/openvino_tokenizers#780 · コメント 3 件 · 担当者 1 名 ·
メンテナーはふだん 1 日以内に返信
-
Enhance Ragged Tensor Packing with Binary Serialization再び着手できるかも @10vulture1005 が 41 日前に担当しましたが、オープン中のプルリクエストはありません。 オープン
難易度 5/5 1週間以上 初心者へのやさしさ 45/100
openvinotoolkit/openvino_tokenizers#730 · コメント 5 件 ·
メンテナーはふだん 1 日以内に返信
-
Detokenizer keeps ▁ for BPE tokenizers with a top-level Metaspace decoder (NLLB, Reformer)対応中かも @0z5a が今日担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
openvinotoolkit/openvino_tokenizers#840 ·
メンテナーはふだん 1 日以内に返信
-
RegexSplit mergedwithnext/mergedwithprevious mishandle adjacent delimiters, so repeated spaces tokenize differently from HF対応中かも @ANAMASGARD が 15 日前に担当しました。 オープン
難易度 3/5 1〜2日 初心者へのやさしさ 50/100
openvinotoolkit/openvino_tokenizers#810 ·
メンテナーはふだん 1 日以内に返信
-
BPETokenizer emits vocabulary tokens that the merges never build, so token ids differ from Hugging Face tokenizers対応中かも @ANAMASGARD が 15 日前に担当しました。 オープン
難易度 4/5 3〜5日 初心者へのやさしさ 25/100
openvinotoolkit/openvino_tokenizers#809 ·
メンテナーはふだん 1 日以内に返信