Speech workloads speed regression on JAX
まだ誰も着手していません。
評価
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 初心者へのやさしさ
- 35/100
- issue の種類
- バグ
- 明瞭さ
- 説明が足りない
- 活発さ
- 停滞
- 技術スタック
- python
調査の方向性
まず、LibriSpeech DeepSpeech JAX ワークロード向けに提供されている submission_runner.py コマンドを実行し、その動作を以前の速度と比較します。algoperf/workloads/librispeech_conformer/librispeech_jax/workload.py の244行目付近と、ログに出力される constant folding に関する XLA の警告を調べます。リグレッションの原因を確認し、ワークロードが期待される速度に戻ることを検証できれば完了です。
索引モデルが issue の本文から書いたものです。
説明
Speech workloads appear to be ~5x slower in update then before.
Happens with pmap and jit.
Steps to Reproduce
in container run
python submission_runner.py --framework=jax --workload=librispeech_deepspeech --submission_path=reference_algorithms/qualification_baselines/external_tuning/jax_nadamw_target_setting.py --data_dir=/data/librispeech --num_tuning_trials=1 --experiment_dir=/experiment_runs --experiment_name=tests/regression_tests/adamw --overwrite=True --save_checkpoints=False --max_global_steps=10 --librispeech_tokenizer_vocab_path=/data/librispeech/spm_model.vocab --tuning_ruleset=external --tuning_search_space=reference_algorithms/qualification_baselines/external_tuning/tuning_search_space.json
Source or Possible Fix
Maybe a package update is resulting in a compilation difference?
Suspicious message in logs
2025-07-15 03:06:29.349878: E external/xla/xla/service/slow_operation_alarm.cc:73] Constant folding an instruction is taking > 1s:
%reduce-window.10 = f32[256,500]{1,0} reduce-window(%broadcast.248, %constant.119), window={size=1x500 pad=0_0x499_0}, to_apply=%region_35.2517.clone, metadata={op_name="jit(_eval_step)/jit(cumsum)/LibriSpeechConformerWorkload.sequence_mask/reduce_window_sum" source_file="/algorithmic-efficiency/algoperf/workloads/librispeech_conformer/librispeech_jax/workload.py" source_line=244}
- 主要言語
- Python
- スター
- 425
- フォーク
- 78
- PR マージ指標
- 30日以内にマージされた PR はありません
環境構築
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
mlcommons/algorithmic-efficiency のほかの issue
-
難易度 5/5 1週間以上 初心者へのやさしさ 30/100
-
難易度 4/5 3〜5日 初心者へのやさしさ 38/100
mlcommons/algorithmic-efficiency#924 · コメント 5 件 ·
-
Anima: live PH monitoring in conversational agent — overfitting detection every 50 interactionsオープン
難易度 5/5 1週間以上 初心者へのやさしさ 25/100
-
難易度 5/5 1週間以上 初心者へのやさしさ 20/100
-
Topological overfitting detection: H0 gap catches overfitting before accuracy diverges (r=0.998)オープン
難易度 5/5 1週間以上 初心者へのやさしさ 15/100
mlcommons/algorithmic-efficiency の issue をすべて見る
似ている issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 88/100
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 84/100
spec-kitty/spec-kitty#5319 ·
メンテナーはふだん 1 日以内に返信
-
backend::vllm diffusion multimodal
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 84/100
openai/openai-agents-python#5229 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 84/100
メンテナーはふだん 1 日以内に返信