vllm-project/vllm-omni

[Bug]: Nightly CI, Qwen3-Omni-30B-A3B-Instruct, performance metrics regressed by more than 10% compared to the baseline in some scenarios

Geschlossen

#4.965 geöffnet am 08.07.2026

Auf GitHub ansehenContributor Guide
 (3 Kommentare) (0 Reaktionen) (0 zugewiesene Personen)Python (1.067 Forks)github user discovery
bugci-failurehelp wantedhigh priority

Repository-Metriken

Stars
 (4.990 Sterne)
PR-Merge-Metriken
 (PR-Metriken ausstehend)

Beschreibung

Your current environment

CI env

Your code version

0.24.0

7ab50965e8d3e64507d0504d706368f7e8318cf5

🐛 Describe the bug

Source Model Type Config Test Metric latest baseline vs baseline Status Days failing
Buildkite Qwen/Qwen3-Omni-30B-A3B-Instruct qwen3_omni data=random, in=2500, out=900, c=8, n=32, profile=audio_metrics qwen3_omni_chunk mean_ttft_ms 432.5542 271.9025 -59.08% fail 3 days+
Buildkite Qwen/Qwen3-Omni-30B-A3B-Instruct qwen3_omni data=random, in=2500, out=900, c=8, n=32, profile=text_only_metrics qwen3_omni_chunk mean_ttft_ms 458.9636 326.5864 -40.53% fail 3 days+
Buildkite Qwen/Qwen3-Omni-30B-A3B-Instruct qwen3_omni data=random-mm, in=100, out=100, n=10, qbs=0.1, profile=text_only_metrics qwen3_omni_chunk mean_ttft_ms 429.4516 318.048 -35.03% fail 3 days+
Buildkite Qwen/Qwen3-Omni-30B-A3B-Instruct qwen3_omni data=random-mm, in=100, out=100, n=100, qbs=1.0, profile=text_only_metrics qwen3_omni_chunk mean_ttft_ms 470.5099 375.5282 -25.29% fail 3 days+
Buildkite Qwen/Qwen3-Omni-30B-A3B-Instruct qwen3_omni data=random-mm, in=100, out=100, n=40, qbs=0.5, profile=text_only_metrics qwen3_omni_chunk mean_ttft_ms 232.5628 186.168 -24.92% fail 3 days+
Buildkite Qwen/Qwen3-Omni-30B-A3B-Instruct qwen3_omni data=random, in=2500, out=900, c=32, n=128, profile=text_only_metrics qwen3_omni_chunk mean_ttft_ms 1096.2507 961.3929 -14.03% fail 3 days+

Before submitting a new issue...

  • Make sure you already searched for relevant issues, and asked the chatbot living at the bottom right corner of the documentation page, which can answer lots of frequently asked questions.

Contributor Guide

Research-Richtung
Vergleichen Sie die letzten Commits, um die Änderung zu identifizieren, die die Leistungsverschlechterung im Qwen3 Omni Modell verursacht hat. Konzentrieren Sie sich auf die qwen3 omni chunk Implementierung und die Chunked Prefill Logik. Überprüfen Sie Änderungen am Aufmerksamkeitsmechanismus, Tensor Parallelismus oder Batching, die die TTFT beeinflussen könnten.
Tech Stack
python
Domain
backend
Issue Type
Fehler
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
Halber Tag
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
PythonML model inference
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
20