How to train a custom tokenizer for Chinese from scratch
まだ誰も着手していません。
評価
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 初心者へのやさしさ
- 25/100
- issue の種類
- ドキュメント
- 明瞭さ
- 説明が足りない
- 活発さ
- 停滞
調査の方向性
ファイル、テスト、エントリーポイントについては何も記載されていません。まず、プロジェクトの tokenizer トレーニングに関するガイダンスまたは実装を見つけ、次にカスタム中国語 tokenizer をゼロからトレーニングする方法を明らかにしてください。リクエストに答える明確な公開リファレンスまたはコード例を提示できれば完了です。
索引モデルが issue の本文から書いたものです。
説明
Hi, wonderful work!
May I know how to train a custom tokenizer for Chinese from scratch? Is there any public reference or code can share?
Thanks for your help very much!
best,
Fangkai
- 主要言語
- Python
- スター
- 12.3k
- フォーク
- 1.1k
- PR マージ指標
- 30日以内にマージされた PR はありません
環境構築
このプロジェクトには開発コンテナ、Dockerfile、コントリビューションガイドがありません。まず README を読み、一般的な手順ははじめてのコントリビューションガイドを参照してください。
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
OpenMOSS/MOSS のほかの issue
-
windows的生成速度真的慢到令人发指オープン
難易度 4/5 3〜5日 初心者へのやさしさ 38/100
-
version?オープン
難易度 4/5 3〜5日 初心者へのやさしさ 20/100
-
難易度 3/5 1〜2日 初心者へのやさしさ 30/100
-
moss为什么不更新了オープン
難易度 5/5 1週間以上 初心者へのやさしさ 10/100
-
難易度 3/5 1〜2日 初心者へのやさしさ 35/100
似ている issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
huggingface/sentence-transformers#4186 ·
メンテナーはふだん 5 日以内に返信
-
documentation
難易度 1/5 1時間未満 初心者へのやさしさ 92/100
QuantEcon/QuantEcon.py#988 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
fabriziosalmi/certmate#1247 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
メンテナーはふだん 1 日以内に返信
-
documentation good first issue
難易度 2/5 半日 初心者へのやさしさ 72/100
sujithputta02/Esapay#13 ·