ggml-org/llama.cpp

Feature Request: support Qwen3-omni, Qwen3-TTS and MiniCPM-o

Open

#17.634 geöffnet am 1. Dez. 2025

Auf GitHub ansehen
 (13 Kommentare) (27 Reaktionen) (0 zugewiesene Personen)C++ (110.169 Stars) (18.202 Forks)batch import
Review Complexity : Highenhancementgood first issuehelp wantedmtmdtts

Beschreibung

Prerequisites

  • I am running the latest code. Mention the version if possible as well.
  • I carefully followed the README.md.
  • I searched using keywords relevant to my issue to make sure that I am creating a new issue that is not already open (or closed).
  • I reviewed the Discussions, and have a new and useful enhancement to share.

Feature Description

support qwen omni audio generator

Motivation

currently omni can work but it does not provide a whisper-like api for tts and it does not support asr.

Possible Implementation

https://github.com/ggml-org/llama.cpp/issues/16885 https://github.com/ggml-org/llama.cpp/issues/16186 https://github.com/ggml-org/llama.cpp/issues/11347

Contributor Guide

Tech Stack
cpp
Domain
backendmachine learning
Issue Type
feature
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
4
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
over 1 week
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
active
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
mostly clear
Voraussetzungen
C++model architecture understandingaudio processingmultimodal ML
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
20
Research-Richtung
The issue requests support for Qwen3 omni, Qwen3 TTS, and MiniCPM o in llama.cpp. It links to other issues (#16885, #16186, #11347) that may provide context. To implement, first understand the existing multimodal support in llama.cpp by examining files like `examples/` or `ggml *` components. Look at how whisper integration is done for a reference API. The implementation will require adding new model architectures and possibly audio processing code.