Question of unk, bos, and eos tokens.
まだ誰も着手していません。
評価
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 初心者へのやさしさ
- 25/100
- issue の種類
- バグ
- 明瞭さ
- 説明が足りない
- 活発さ
- 停滞
- 技術スタック
- python
調査の方向性
Reproduce the report with transformers.AutoTokenizer and the codegen2-7B vocabulary path shown in the issue, then inspect the reported special-token IDs and values. The work is done when the token configuration is explained and any needed tokenizer or documentation change is identified.
索引モデルが issue の本文から書いたものです。
説明
Hi,
When I loaded codegen2-7b vocabulary, I found that unk, bos, and eos tokens are identical, which is confused to me since I think these three special tokens should be different. Here is my code and results. Is it normal?
from transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("/path/codegen2-7B")
print(f"pad token id: {tokenizer.pad_token_id}")
print(f"unk token id: {tokenizer.unk_token_id}")
print(f"bos token id: {tokenizer.bos_token_id}")
print(f"eos token id: {tokenizer.eos_token_id}")
print(f"pad token: {tokenizer.pad_token}")
print(f"unk token: {tokenizer.unk_token}")
print(f"bos token: {tokenizer.bos_token}")
print(f"eos token: {tokenizer.eos_token}")
Using pad_token, but it is not set yet.
pad token id: None
unk token id: 50256
bos token id: 50256
eos token id: 50256
pad token: None
unk token: <|endoftext|>
bos token: <|endoftext|>
eos token: <|endoftext|>
- 主要言語
- Python
- スター
- 268
- フォーク
- 11
- PR マージ指標
- 30日以内にマージされた PR はありません
コントリビューションガイド
このリポジトリのコントリビューションガイドは索引されていません
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
salesforce/CodeGen2 のほかの issue
-
難易度 3/5 1〜2日 初心者へのやさしさ 30/100
salesforce/CodeGen2#10 ·
-
難易度 5/5 1週間以上 初心者へのやさしさ 15/100
salesforce/CodeGen2#9 ·
-
難易度 5/5 1週間以上 初心者へのやさしさ 15/100
salesforce/CodeGen2#7 ·
-
難易度 5/5 1週間以上 初心者へのやさしさ 20/100
salesforce/CodeGen2#6 · リアクション 1 件 ·
-
難易度 2/5 1〜3時間 初心者へのやさしさ 35/100
salesforce/CodeGen2#4 · リアクション 1 件 ·
salesforce/CodeGen2 の issue をすべて見る
似ている issue
-
agent-ready documentation needs-triage
難易度 1/5 1〜3時間 初心者へのやさしさ 88/100
-
documentation
難易度 1/5 1時間未満 初心者へのやさしさ 91/100
-
workflow-status page template still says reusable workflows are "triggered only by workflow_call:" オープン
難易度 1/5 1時間未満 初心者へのやさしさ 92/100
-
instance instance add
難易度 1/5 1時間未満 初心者へのやさしさ 72/100
searxng/searx-instances#939 · コメント 1 件 ·
-
area-deployment area-integrations triage:bot-seen
難易度 2/5 半日 初心者へのやさしさ 86/100