Add an integration for Whisper speech recognition (faster-whisper, mlx-whisper)
Maintainer antworten meist innerhalb von 1 Tag
Dieses Issue hat noch niemand übernommen.
Bewertung
- Schwierigkeit
- 3/5
- Geschätzter Aufwand
- 1-2 Tage
- Anfängerfreundlichkeit
- 72/100
- Issue-Typ
- Feature
- Klarheit
- Klar beschrieben
- Aktivitätsstatus
- Aktiv
- Tech-Stack
- python
- Bereich
- machine-learning, observability-sre
Rechercherichtung
Start by reading the existing mlx and transformers integrations and their registration and inference-tracking tests. Implement the Whisper model loading and transcription instrumentation, accounting for faster-whisper's lazy segment generator and optional audio/transcript attachments. The work is done when each transcribe call reports the requested audio metadata, detected-language probability, and output word count, with coverage for the relevant integration paths.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Beschreibung
What happens
There is no integration for Whisper speech recognition. faster-whisper (WhisperModel.transcribe, CTranslate2) and mlx-whisper (mlx_whisper.transcribe) are the common local options, and neither is covered by the existing mlx or transformers integrations.
An app has to register the model with register_model(None, model_id=..., family="whisper", model_format=...) and call track_inference by hand with AudioInputMeta (duration, sample rate, channels), the detected language and, when attachments are enabled, the audio and the transcript.
Expected
A whisper integration (or one each for faster_whisper and mlx_whisper) that:
- registers the model on load: name from the model directory or repo, format
ctranslate2ormlx, familywhisper, device and compute type (e.g.cuda/float16,cpu/int8) - tracks each
transcribecall: duration,AudioInputMeta(audio length and sample rate), output word count, and the detected language and its probability - for faster-whisper, whose
transcribereturns a lazy segment generator, measures until the generator is used up, not whentranscribereturns - when attachments are enabled, attaches the input audio and the transcript
Found in evil-jarvis, which tracks this by hand today (src/evil_jarvis/telemetry.py, track_transcription). SDK 0.2.2.
🤖 Generated with Claude Code
- Vorherrschende Sprache
- Python
- Sterne
- 17
- Forks
- 1
- Ø Merge
- 17 Std. 5 Min.
- Gemergte PRs (30 T.)
- 34
Entwicklungsumgebung
- Kein Dockerfile und keine Docker-Compose-Datei
- Keine Pull-Request-Vorlage
- Beitragsleitfaden lesen
Erste Schritte
- Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
- Forken Sie das Repository und arbeiten Sie in einem Branch.
- Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.
Mehr aus wild-edge/wildedge-python
-
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 45/100
wild-edge/wildedge-python#85 ·
Maintainer antworten meist innerhalb von 1 Tag
-
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 55/100
wild-edge/wildedge-python#78 ·
Maintainer antworten meist innerhalb von 1 Tag
-
vLLM integrationEvtl. wieder frei @piotrekno1 hat das vor 122 Tagen übernommen, und es ist kein Pull Request offen. Offen
wild-edge/wildedge-python#38 · 1 zugewiesene Person ·
Maintainer antworten meist innerhalb von 1 Tag
-
enhancement good first issue help wanted
Schwierigkeit 3/5 1-2 Tage Anfängerfreundlichkeit 48/100
wild-edge/wildedge-python#25 ·
Maintainer antworten meist innerhalb von 1 Tag
-
enhancement good first issue help wanted
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 25/100
wild-edge/wildedge-python#22 · 1 Kommentar ·
Maintainer antworten meist innerhalb von 1 Tag
Alle Issues in wild-edge/wildedge-python
Ähnliche Issues
-
Python Volcengine provider returns failures instead of raising themEvtl. vergeben @Ricardo-M-L hat das heute übernommen. Offen
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 79/100
agent-infra/sandbox#248 ·
-
Textractor leaves empty temporary files when remote retrieval failsEvtl. vergeben @HuaTNA hat das heute übernommen. Offen
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 82/100
Maintainer antworten meist innerhalb von 1 Tag
-
test(bm_generation): pin the learning parameters and CPU sync shortcutEvtl. vergeben @iloveeyjafjalla hat das heute übernommen. Offen
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 78/100
qboson/kaiwu-pytorch-plugin#1341 ·
Maintainer antworten meist innerhalb von 2 Tagen
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 70/100
elder-plinius/V3R1T4S#625 ·
Maintainer antworten meist innerhalb von 1 Tag
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 62/100
foxglove/mcap#1907 · 1 Kommentar ·
Maintainer antworten meist innerhalb von 1 Tag