Hacktoberfest 2026: những issue maintainer đã đánh dấu cho tháng Mười, đang mở và phù hợp người mới. Xem issue Hacktoberfest

[Tracking] Complete audio task coverage across CPU, GPU, and NPU backends

Đang mở
  • Có gì không ổn?
#23,164 7 bình luận 1 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
5/5
Thời gian dự kiến
Hơn một tuần
Mức phù hợp với người mới
20/100
Loại issue
Tính năng
Độ rõ ràng
Cần làm rõ
Mức độ hoạt động
Sôi nổi
Công nghệ
python
Lĩnh vực
embedded-iot, machine-learning

Hướng nghiên cứu

Review the existing audio examples and issue #23131 first, then use the MLX-Audio references to choose one task from the priority list. Validate the selected model across CPU, GPU, and NPU backends, comparing quality and performance. Done means the task is covered with backend gaps and measured results recorded.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

enhancement module: examples

Make ExecuTorch the go-to place for common audio tasks across CPU, GPU, and NPU backends. Prioritize task coverage, current model quality, MLX-Audio support, and Hugging Face adoption.

Implementation priority below. Evaluation candidates are conditional on a measured benefit over the selected model or existing examples.

  1. Qwen3-ASR 0.6B — multilingual transcription; evaluate 1.7B.
  2. Qwen3-ForcedAligner 0.6B — word-level alignment and timestamps.
  3. Qwen3-TTS — CustomVoice 0.6B, Base voice cloning, then 1.7B VoiceDesign.
  4. Nemotron 3.5 ASR streaming 0.6B — live transcription.
  5. Smart Turn v3 — conversational end-of-turn detection.
  6. Nemotron 3 Diarization — speaker diarization; extend backend coverage (#23131).
  7. Parakeet / Whisper — transcription and translation; extend existing examples.
  8. Silero VAD — speech activity detection; extend backend coverage.
  9. Supertonic 3 — lightweight TTS; extend backend coverage.
  10. Voxtral / Voxtral Realtime / Voxtral TTS — audio understanding, live ASR, and TTS; extend existing examples.
  11. LFM2.5-Audio 1.5B — speech-to-speech interaction.
  12. DeepFilterNet3 — speech enhancement and denoising.
  13. SAM-Audio — prompted sound extraction.
  14. DialogueSidon — overlapping speaker separation.
  15. Mel-Band-RoFormer — vocal/instrumental separation.
  16. MOSS-Music — music understanding and lyrics transcription.
  17. MiniMax Music 3 — music and song generation.
  18. VoxCPM2 — evaluate additional voice-cloning/design quality and control.
  19. Granite Speech 5.0 470M TurboCTC — evaluate compact English ASR.
  20. Canary v2 — evaluate uncovered speech-translation needs.
  21. VibeVoice-ASR Streaming — evaluate joint transcription/diarization beyond composed pipelines.
  22. MossFormer2 SE — evaluate enhancement quality beyond DeepFilterNet3.

Use available MLX-Audio references for initial comparisons, then validate across CPU, GPU, and NPU backends and track quality, performance, and backend gaps.

cc @iseeyuan @lucylq @helunwencser @tarun292 @kimishpatel @jackzhxng @metascroy

Ngôn ngữ chính
Python
Star
5k
Fork
1.2k
Merge trung bình
2 ngày 10 giờ
Pull request đã merge (30 ngày)
573

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của pytorch/executorch

Tất cả issue của pytorch/executorch

Issue tương tự

Thêm issue về Python

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.