Captions: optional English translation line under the original (bilingual captions)

Đang mở
#3,473 1 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
5/5
Thời gian dự kiến
Hơn một tuần
Mức phù hợp với người mới
35/100
Loại issue
Tính năng
Độ rõ ràng
Cần làm rõ
Mức độ hoạt động
Sôi nổi
Công nghệ
react, rust, typescript

Hướng nghiên cứu

Read the existing caption transcription flow and the editor and export paths to determine where a second translated line could be supported; the issue does not name specific files or tests. First check how Whisper transcription is invoked and how caption segments are matched by time. Done means agreeing on the open product questions, then implementing and verifying bilingual captions in the editor and exports.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

laoer536 asked for this on #2855: captions with the spoken language on the first line and an English translation on the second, e.g.

你好,我的名字是刘杰
Hello, my name is Liu Jie

It's useful for demos and tutorials aimed at international viewers.

Whisper can already do the translation part: it has a built-in "translate" mode that turns speech in any language it supports into English text, and Cap already ships Whisper Small and Medium. So a first version could be:

  1. Transcribe as today (original language).
  2. Run Whisper again in translate mode on the same audio.
  3. Match each English segment to the original caption by time and show it as a second line.

Questions before I build it:

  • Is a second caption line something you'd want in the editor and exports, or should the translation replace the original instead?
  • English-only translation (what Whisper supports) OK for a first version?
  • Any preference on where the toggle lives (Captions tab, next to the language picker)?

Happy to open a PR if this sounds good.

Ngôn ngữ chính
Rust
Star
25k
Fork
2.4k
Merge trung bình
1 ngày 8 giờ
Pull request đã merge (30 ngày)
676

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của CapSoftware/Cap

Tất cả issue của CapSoftware/Cap

Issue tương tự

Thêm issue về Rust

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.