Scrawl-style feedback capture with hold-Shift drawing and Apple transcription
Maintainer thường phản hồi trong vòng 1 ngày
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức phù hợp với người mới
- 35/100
Hướng nghiên cứu
Start by reading crates/project/src/cursor.rs for cursor/modifier handling, apps/desktop-gpui/src/transcription.rs for existing Whisper/Parakeet transcription, and apps/cli/src/caps.rs for agent context commands. Check issues #2136 and #2059 for related drawing and frame export work. Done means Shift-draw while recording, macOS SpeechAnalyzer option, and a single CLI/MCP export of annotated context.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
yo @richiemcilroy, can we make this a Cap feature? https://github.com/kitlangton/scrawl
The situation
I want to record a bug or UI change, talk through it, point at the exact thing, and hand the result to a coding agent. Scrawl packages the recording into timestamped screenshots, the matching narration, clicks and drawn marks. The agent gets the context without me typing it all out again.
This feels like a natural fit for Cap. I'd rather do it in the recorder I already use.
What works today, and why it is not enough
Cap already has a lot of the pieces:
- Cursor and click events include timestamps and modifier keys, with positions on cursor moves.
- Local caption transcription uses Whisper/Parakeet and word timestamps.
- CLI context and transcript commands, plus MCP, already give agents access to Caps.
I couldn't find the full Scrawl-style handoff, Apple speech backend, or live hold-Shift drawing in current main. Screenshot freehand drawing exists (#2136), but the ask here is drawing while recording.
https://github.com/user-attachments/assets/ceae6b30-09be-4e6d-b840-c788a9c6edbc
Ask
- Hold Shift and move the pointer to draw on screen while recording. Release Shift to return to normal interaction. Keep those marks aligned with the recording and include them in exported frames/video. Ideally the modifier is configurable so it doesn't interfere with shortcuts in the app being recorded.
- Offer Apple's on-device transcription on Mac. Scrawl already uses SpeechAnalyzer on macOS 26 and on-device SFSpeechRecognizer on macOS 15. Could Cap offer that alongside Whisper/Parakeet? It would need OS/language/model availability handling, but this seems worth supporting as a native option.
- One action to copy/export context for an agent: selected screenshots or a contact sheet, timestamped narration, clicks and drawn marks, with a structured manifest and readable summary. Expose the same output through the CLI/MCP so an agent can inspect a specific moment. Let this work locally without requiring an upload.
Related: #2059 asks for native frame-at-timestamp export, which would help with this.
The main thing is the loop: record, talk, hold Shift to point something out, stop, send the context to the agent. Can we get that directly in Cap?
- Ngôn ngữ chính
- Rust
- Star
- 25k
- Fork
- 2.4k
- Merge trung bình
- 1 ngày 8 giờ
- Pull request đã merge (30 ngày)
- 676
Chuẩn bị môi trường
- Có Dockerfile hoặc tệp Docker Compose
- Không có mẫu pull request
- Đọc hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của CapSoftware/Cap
-
Captions panel does not offer to show an existing transcriptCó thể đã có người làm @thedavidweng đã nhận hôm nay. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
CapSoftware/Cap#4276 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Download, FAQ, privacy and terms pages have no meta descriptionCó thể đã có người làm @patrickballard đã nhận 13 ngày trước. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 82/100
CapSoftware/Cap#3675 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
self hosting
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 68/100
CapSoftware/Cap#2384 · 3 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Dashboard pagination causes full page reloads on self-hosted CapCó thể đã có người làm @DipanshuAmbilkar03 đã nhận 11 ngày trước. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 88/100
CapSoftware/Cap#2305 · 2 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 68/100
CapSoftware/Cap#1714 · 3 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
Tất cả issue của CapSoftware/Cap
Issue tương tự
-
benchmark-review
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 63/100
Maintainer thường phản hồi trong vòng 1 ngày
-
area:filesystem bug need-triage
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 85/100
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 76/100
libracoder/kiri#364 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
matrix-org/matrix-rust-sdk#7495 ·
Maintainer thường phản hồi trong vòng 1 ngày