Chinese text is not being tokenized properly
メンテナーはふだん 1 日以内に返信
まだ誰も着手していません。
評価
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 初心者へのやさしさ
- 38/100
- issue の種類
- バグ
- 明瞭さ
- 説明が足りない
- 活発さ
- 静か
- 技術スタック
- python
調査の方向性
Issue では LatinWordTokenizer と翻訳のアライメントについて言及されていますが、ファイルやテストは指定されていません。まず LatinWordTokenizer とアライメントのトークン化のエントリーポイントを特定し、次にどのプロジェクトまたはスクリプトが影響を受けるかを調べ、適切な tokenizer の選択肢を比較してください。中国語のテキストがマーカー配置に利用できるトークン境界を生成し、追加で影響を受けるスクリプトについてもカバレッジがあることが完了条件です。
索引モデルが issue の本文から書いたものです。
説明
We currently have pretranslations generated that look like:
...
"translation": "声音已经说出来了,耶稣就独自一人了.他们在那些日子里什么都没告诉任何人.",
"translationTokens": [
"声音已经说出来了,耶稣就独自一人了.他们在那些日子里什么都没告诉任何人",
"."
],
...
I assume that this is because we are using the LatinWordTokenizer for translation alignment. This is likely happening for some other scripts as well. We should evaluate how many projects this affects and consider using another tokenizer (or dynamically choosing a tokenizer). Unless I'm missing something, this would make the marker placement feature basically unavailable for those translating into scripts that the LatinWordTokenizer does not tokenize properly.
- 主要言語
- Python
- スター
- 12
- フォーク
- 2
- 平均マージ
- 3日 10時間
- マージ済み PR（30日）
- 14
環境構築
このプロジェクトの開発コンテナを、あなたの GitHub アカウントでブラウザ上に起動します。
- Dockerfile または Docker Compose ファイルあり
- プルリクエストのテンプレートあり
- コントリビューションガイドなし
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
sillsdev/machine.py のほかの issue
-
難易度 5/5 1週間以上 初心者へのやさしさ 25/100
sillsdev/machine.py#405 ·
メンテナーはふだん 1 日以内に返信
-
難易度 5/5 1週間以上 初心者へのやさしさ 30/100
sillsdev/machine.py#404 ·
メンテナーはふだん 1 日以内に返信
-
難易度 5/5 1週間以上 初心者へのやさしさ 25/100
sillsdev/machine.py#403 ·
メンテナーはふだん 1 日以内に返信
-
難易度 4/5 3〜5日 初心者へのやさしさ 48/100
sillsdev/machine.py#402 ·
メンテナーはふだん 1 日以内に返信
-
難易度 4/5 3〜5日 初心者へのやさしさ 42/100
sillsdev/machine.py#401 ·
メンテナーはふだん 1 日以内に返信
sillsdev/machine.py の issue をすべて見る
似ている issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
huggingface/peft#3955 ·
メンテナーはふだん 1 日以内に返信
-
author-page correction
難易度 2/5 1〜3時間 初心者へのやさしさ 60/100
acl-org/acl-anthology#10313 ·
メンテナーはふだん 1 日以内に返信
-
anime duplicate exception request-theme
難易度 1/5 1時間未満 初心者へのやさしさ 82/100
LizardByte/ThemerrDB#8926 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
bug
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100
huggingface/transformers#49556 ·
メンテナーはふだん 1 日以内に返信
-
area/security bug
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
mozilla-ai/otari#2245 ·
メンテナーはふだん 1 日以内に返信