Hacktoberfest 2026：メンテナが10月に向けて印を付けた、オープンで初心者向けの issue。 Hacktoberfest の issue を見る

`SentencepiecesTokenizer.ids2tokens` ignores `token_list` - root cause of the paraformer-en gibberish in #3040

オープン 初心者向け
  • 何か問題がありますか？
#3,780 コメント 1 件 リアクション 0 件 担当者 0 名 GitHub で見る

メンテナーはふだん 1 日以内に返信

まだ誰も着手していません。

評価

難易度
2/5
見積もり時間
1〜3時間
初心者へのやさしさ
78/100
issue の種類
バグ
明瞭さ
明確に書かれている
活発さ
活発
技術スタック
python, pytorch
領域
backend, machine-learning

調査の方向性

funasr/tokenizer/sentencepiece_tokenizer.py の SentencepiecesTokenizer.ids2tokens から始め、Paraformer がどのようにトークン ID を渡すかを追ってください。token_list の読み込み方法を確認し、このケースで SentencePiece モデルとの並び順を比較してください。意図されたトークン対応付けを使うようにデコード動作を更新し、報告された英語のサンプルが正しくデコードされることと、既存モデルとの互換性が保たれることを確認してください。

索引モデルが issue の本文から書いたものです。

説明

Summary
iic/speech_paraformer-large-vad-punc_asr_nat-en-16k-common-vocab10020 is not mispackaged. The model predicts the right token ids; the text goes wrong at decoding. SentencepiecesTokenizer.ids2tokens ignores the loaded token_list (tokens.json) and decodes the ids with the BPE model's own id order. For this model the two orders differ, so every word is replaced by an unrelated one. Decoding the same ids through tokens.json gives correct English.

Environment
FunASR 1.4.16 (same code on current main), torch 2.14.1, Python 3.11, macOS arm64, CPU.

Root cause
funasr/tokenizer/sentencepiece_tokenizer.py:

def ids2tokens(self, *args, **kwargs):
    return self.decode(*args, **kwargs)   # -> self.sp.DecodeIds(ids)

Paraformer inference calls tokenizer.ids2tokens(token_int). The ids index tokens.json (10020 entries: <blank>, <s>, </s>, ~, <, ...), but sp.DecodeIds reads them as bpe.model ids (10000 pieces: <unk>, <s>, </s>, ▁the, s, ...). Weights load with "All keys matched successfully" and the decoder output size (10020) equals len(tokens.json).

Repro

from funasr import AutoModel
m = AutoModel(model="iic/speech_paraformer-large-vad-punc_asr_nat-en-16k-common-vocab10020", device="cpu")
tk = m.kwargs["tokenizer"]
cap = {}
orig = type(tk).ids2tokens
def spy(self, ids, **kw):
    cap["ids"] = list(ids)
    return orig(self, ids, **kw)
type(tk).ids2tokens = spy
print(m.generate(input="https://isv-data.oss-cn-hangzhou.aliyuncs.com/ics/MaaS/ASR/test_audio/asr_example_en.wav")[0]["text"])
print(tk.sp.DecodePieces([tk.token_list[i] for i in cap["ids"]]))

Output on the official sample:

procedure telegram impatience phuket sleeping danielot pro
he tried to think how it could be

Line 1 is the gibberish reported in #3040; line 2 is the correct transcript from the same ids.

Suggested fix

def ids2tokens(self, integers, **kwargs):
    if self.token_list is not None:
        return [self.token_list[i] for i in integers]
    return self.decode(integers, **kwargs)

Models whose tokens.json already follows bpe.model order decode the same either way.

主要言語
Python
スター
20.8k
フォーク
2.1k
平均マージ
1日 46分
マージ済み PR（30日）
36

環境構築

はじめの一歩

  1. issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
  2. 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
  3. リポジトリをフォークし、ブランチを切って変更します。
  4. issue 番号を参照したプルリクエストを送ります。

modelscope/FunASR のほかの issue

modelscope/FunASR の issue をすべて見る

似ている issue

Python の issue をもっと見る

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。