Realtime: committed-utterance WAV written with fixed 16 kHz header breaks 24 kHz client commits (empty STT -> input_not_committed -> total silence)
Los mantenedores suelen responder en 1 día
Evaluación
- Dificultad
- 2/5
- Tiempo estimado
- 1-3 horas
- Aptitud para principiantes
- 25/100
- Tipo de issue
- Error
- Claridad
- Bien especificado
- Estado de actividad
- Estancado
- Stack tecnológico
- go
- Área
- audio-video-rtc
Línea de trabajo
Read commitUtteranceWithTranscript and writeUtteranceWAV, including both call sites described in the issue. Check how the WAV header rate relates to session.InputSampleRate; done means 24 kHz client-committed audio is written with a 24 kHz header and transcribes correctly.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Bug
In the OpenAI-Realtime pipeline, the client-commit path writes the committed
utterance to a temp WAV with a fixed 16 kHz header
(laudio.NewWAVHeader(uint32(len(utt))) in commitUtteranceWithTranscript,
and writeUtteranceWAV), while the input buffer holds audio at the
session input sample rate (e.g. 24 kHz for OpenAI-Realtime clients —
session.update audio.input.format.rate = 24000).
The file-based transcription backend then decodes 24 kHz PCM data with a
16 kHz header (1.5x speed/pitch), degrading transcription to garbage or
empty output. An empty transcript fails the follow-up response with
input_not_committed → total silence after the greeting (no reply at
all, recovery phrases not triggered either).
Reproduction
- Start a realtime session with
audio.input.format.rate = 24000and
turn_detection: null(client-driven commits). - Stream ~2 s of speech, send
input_audio_buffer.commit. - The committed WAV (temp file
realtime-audio-chunk-*.wav) carries a
16 kHz header; the transcription of 24 kHz content at 16 kHz is garbage
or empty →response.donefailedinput_not_committed.
Offline proof: identical audio transcribes cleanly with a 24 kHz header and
produces empty output with a 16 kHz header.
Fix
writeUtteranceWAV takes the sample rate; both call sites pass
session.InputSampleRate via the existing laudio.NewWAVHeaderWithRate
(PR follows).
Impact
Every client-commit session with an input rate other than 16 kHz
(WebRTC sessions resample to 16 kHz and are not affected).
- Lenguaje dominante
- Go
- Estrellas
- 49.8k
- Forks
- 4.5k
- Merge medio
- 20 h 11 min
- PR fusionados (30 d)
- 350
Preparar el entorno
Inicia el contenedor de desarrollo del proyecto en tu navegador, con tu propia cuenta de GitHub.
- Incluye un Dockerfile o un archivo de Docker Compose
- Tiene una plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de mudler/LocalAI
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
Los mantenedores suelen responder en 1 día
-
[Bug] Qwen3.8-27b Uncensored Fails to Download due to 404Posiblemente ocupada @localai-org-maint-bot la tomó hace 1 día. Abiertobug unconfirmed
Dificultad 1/5 Menos de una hora Aptitud para principiantes 70/100
Los mantenedores suelen responder en 1 día
-
Realtime: ASR EOU language tags leak into the LLM conversation (unintended reply-language switching)Posiblemente ocupada @nexxtmobile la tomó hace 5 días. Abiertoarea/api bug unconfirmed
Dificultad 2/5 1-3 horas Aptitud para principiantes 70/100
Los mantenedores suelen responder en 1 día
-
Open Responses API doesn't accept "output_text" as an input ItemPosiblemente ocupada @localai-org-maint-bot la tomó hace 24 días. Abiertobug unconfirmed
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
mudler/LocalAI#12337 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
Gallery model audio-cpp-sortformer-diarization fails to install: SHA mismatch, reproducible across retriesQuizá libre de nuevo Un pull request para esta issue se cerró sin fusionarse. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
mudler/LocalAI#11995 · 1 comentario ·
Los mantenedores suelen responder en 1 día
Todos los issues de mudler/LocalAI
Issues similares
-
Dificultad 1/5 Menos de una hora Aptitud para principiantes 91/100
Los mantenedores suelen responder en 1 día
-
bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 84/100
praetorianer777/Dynamo#53 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
Los mantenedores suelen responder en 1 día
-
kind/engineering pulumi/pulumi-terraform Task Workflow Failure
Dificultad 2/5 1-3 horas Aptitud para principiantes 64/100
pulumi/pulumi-terraform#1261 ·
Los mantenedores suelen responder en 1 día
-
Controllers integration tests fail when port 8080 is in usePosiblemente ocupada @noahnut la tomó hoy. Abiertoarea/cluster-autoscaler kind/bug needs-triage
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
kubernetes-sigs/cluster-autoscaler#236 · 1 comentario ·
Los mantenedores suelen responder en 1 día