vllm-project/vllm-omni

[Bug]: Nightly CI, Qwen3-Omni-30B-A3B-Instruct, performance metrics regressed by more than 10% compared to the baseline in some scenarios

Chiusa

#4965 aperta il 8 lug 2026

Vedi su GitHubGuida contributor
 (3 commenti) (0 reazioni) (0 assegnatari)Python (1067 fork)github user discovery
bugci-failurehelp wantedhigh priority

Metriche repository

Star
 (4990 stelle)
Metriche merge PR
 (Metriche PR in attesa)

Descrizione

Your current environment

CI env

Your code version

0.24.0

7ab50965e8d3e64507d0504d706368f7e8318cf5

🐛 Describe the bug

Source Model Type Config Test Metric latest baseline vs baseline Status Days failing
Buildkite Qwen/Qwen3-Omni-30B-A3B-Instruct qwen3_omni data=random, in=2500, out=900, c=8, n=32, profile=audio_metrics qwen3_omni_chunk mean_ttft_ms 432.5542 271.9025 -59.08% fail 3 days+
Buildkite Qwen/Qwen3-Omni-30B-A3B-Instruct qwen3_omni data=random, in=2500, out=900, c=8, n=32, profile=text_only_metrics qwen3_omni_chunk mean_ttft_ms 458.9636 326.5864 -40.53% fail 3 days+
Buildkite Qwen/Qwen3-Omni-30B-A3B-Instruct qwen3_omni data=random-mm, in=100, out=100, n=10, qbs=0.1, profile=text_only_metrics qwen3_omni_chunk mean_ttft_ms 429.4516 318.048 -35.03% fail 3 days+
Buildkite Qwen/Qwen3-Omni-30B-A3B-Instruct qwen3_omni data=random-mm, in=100, out=100, n=100, qbs=1.0, profile=text_only_metrics qwen3_omni_chunk mean_ttft_ms 470.5099 375.5282 -25.29% fail 3 days+
Buildkite Qwen/Qwen3-Omni-30B-A3B-Instruct qwen3_omni data=random-mm, in=100, out=100, n=40, qbs=0.5, profile=text_only_metrics qwen3_omni_chunk mean_ttft_ms 232.5628 186.168 -24.92% fail 3 days+
Buildkite Qwen/Qwen3-Omni-30B-A3B-Instruct qwen3_omni data=random, in=2500, out=900, c=32, n=128, profile=text_only_metrics qwen3_omni_chunk mean_ttft_ms 1096.2507 961.3929 -14.03% fail 3 days+

Before submitting a new issue...

  • Make sure you already searched for relevant issues, and asked the chatbot living at the bottom right corner of the documentation page, which can answer lots of frequently asked questions.

Guida contributor

Direzione di ricerca
Confronta i commit recenti per identificare quale modifica ha causato la regressione delle prestazioni nel modello Qwen3 Omni. Concentrati sull'implementazione di qwen3 omni chunk e sulla logica di prefill a blocchi. Controlla le modifiche nel meccanismo di attenzione, nel parallelismo tensoriale o nel batching che potrebbero influenzare il TTFT.
Tech stack
python
Dominio
backend
Tipo issue
Bug
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Mezza giornata
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
PythonML model inference
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
20