Implement ATT-INPUT method for computing alignments from cross-attention
メンテナーはふだん 1 日以内に返信
まだ誰も着手していません。
評価
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 初心者へのやさしさ
- 45/100
- issue の種類
- 機能追加
- 明瞭さ
- おおむね明確
- 活発さ
- 停滞
- 技術スタック
- huggingface, python
調査の方向性
HuggingFaceNmtEngine の実装を見つけ、現在の ATT-OUTPUT のアテンション処理をリンク先の論文と比較してください。先頭のゼロ行列とアテンション層の選択がどこで適用されているかを追跡し、最後のトークンをアラインせずに最大生成長に達する翻訳を ATT-INPUT でどのように処理すべきかを判断してください。ATT-INPUT がこのエッジケースを含め、意図したアラインメントを生成すれば完了です。
索引モデルが issue の本文から書いたものです。
説明
The HuggingFaceNmtEngine class currently implements the ATT-OUTPUT approach from this paper. The ATT-INPUT method would generate better quality alignments. In order to implement ATT-INPUT, the class would need to shift the attentions to the left one step. This can be done by not adding a 0 matrix at the beginning of the attentions. We would also need to change what layer the attentions are retrieved from (bottom layers). For ATT-INPUT, it is possible for the last token to not get aligned if the translation has hit the max generation length. This edge case should be handled properly.
- 主要言語
- Python
- スター
- 12
- フォーク
- 2
- 平均マージ
- 2日 10時間
- マージ済み PR（30日）
- 12
環境構築
このプロジェクトの開発コンテナを、あなたの GitHub アカウントでブラウザ上に起動します。
- Dockerfile または Docker Compose ファイルあり
- プルリクエストのテンプレートあり
- コントリビューションガイドなし
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
sillsdev/machine.py のほかの issue
-
難易度 5/5 1週間以上 初心者へのやさしさ 25/100
sillsdev/machine.py#405 ·
メンテナーはふだん 1 日以内に返信
-
難易度 5/5 1週間以上 初心者へのやさしさ 30/100
sillsdev/machine.py#404 ·
メンテナーはふだん 1 日以内に返信
-
難易度 5/5 1週間以上 初心者へのやさしさ 25/100
sillsdev/machine.py#403 ·
メンテナーはふだん 1 日以内に返信
-
難易度 4/5 3〜5日 初心者へのやさしさ 48/100
sillsdev/machine.py#402 ·
メンテナーはふだん 1 日以内に返信
-
Implement `LlmPosteditor`対応中かも @mshannon-sil が 2 日前に担当しました。 オープン
難易度 4/5 3〜5日 初心者へのやさしさ 42/100
sillsdev/machine.py#401 · 担当者 1 名 ·
メンテナーはふだん 1 日以内に返信
sillsdev/machine.py の issue をすべて見る
似ている issue
-
fix formatting of the sample database page of the docs対応中かも @Aaqibhafeezkhan が今日担当しました。 オープンdocumentation good first issue help wanted
難易度 1/5 1時間未満 初心者へのやさしさ 72/100
chaoss/CollectOSS#544 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
area/plugin good first issue
難易度 2/5 1〜3時間 初心者へのやさしさ 85/100
kestra-io/plugin-soda#137 ·
-
難易度 2/5 半日 初心者へのやさしさ 62/100
ibm-granite/granite.build#504 ·
メンテナーはふだん 2 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 62/100
-
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
メンテナーはふだん 1 日以内に返信