Mismatch in attention weights for causal masked tokens vs attention masked tokens
まだ誰も着手していません。
評価
- 難易度
- 3/5
- 見積もり時間
- 1〜2日
- 初心者へのやさしさ
- 35/100
- issue の種類
- バグ
- 明瞭さ
- おおむね明確
- 活発さ
- 停滞
- 技術スタック
- python
調査の方向性
Start in jaxformer/hf/codegen/modeling_codegen.py around line 439 and trace how attention_mask and causal_mask affect the pre-softmax attention scores. Reproduce the discrepancy between padded and causally masked tokens, then verify that equivalent masking produces matching inference outputs for individual and padded sequences.
索引モデルが issue の本文から書いたものです。
説明
attention scores corresponding to the tokens that are masked out using attention_mask get a value of -1e4 as per https://github.com/salesforce/CodeGen/blob/main/jaxformer/hf/codegen/modeling_codegen.py#L439, whereas the attention scores masked out using causal_mask get a value of -1*1e9. This leads to a discrepancy between the pre-softmax attention scores for causally masked tokens and padded tokens to be different. This causes inference outputs from individual sequences to inference outputs to be different.
- 主要言語
- Python
- スター
- 5.2k
- フォーク
- 420
- PR マージ指標
- 30日以内にマージされた PR はありません
コントリビューションガイド
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
salesforce/CodeGen のほかの issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 45/100
salesforce/CodeGen#107 ·
-
難易度 5/5 1週間以上 初心者へのやさしさ 20/100
salesforce/CodeGen#104 ·
-
難易度 5/5 1週間以上 初心者へのやさしさ 25/100
salesforce/CodeGen#101 ·
-
難易度 1/5 1時間未満 初心者へのやさしさ 48/100
salesforce/CodeGen#95 ·
-
難易度 3/5 1〜2日 初心者へのやさしさ 35/100
salesforce/CodeGen#94 · コメント 8 件 ·
salesforce/CodeGen の issue をすべて見る
似ている issue
-
agent-ready documentation needs-triage
難易度 1/5 1〜3時間 初心者へのやさしさ 88/100
-
documentation
難易度 1/5 1時間未満 初心者へのやさしさ 91/100
-
workflow-status page template still says reusable workflows are "triggered only by workflow_call:" オープン
難易度 1/5 1時間未満 初心者へのやさしさ 92/100
-
instance instance add
難易度 1/5 1時間未満 初心者へのやさしさ 72/100
searxng/searx-instances#939 · コメント 1 件 ·
-
area-deployment area-integrations triage:bot-seen
難易度 2/5 半日 初心者へのやさしさ 86/100