[Bug]: Antigravity ACP cannot natively read local audio/video files from disk paths (needed more than ever with Gemini 4 Neon)
Maintainer thường phản hồi trong vòng 1 ngày
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 5/5
- Thời gian dự kiến
- Hơn một tuần
- Mức phù hợp với người mới
- 25/100
- Loại issue
- Tính năng
- Độ rõ ràng
- Đặc tả rõ ràng
- Mức độ hoạt động
- Sôi nổi
- Công nghệ
- typescript
- Lĩnh vực
- audio-video-rtc, backend-api-design
Hướng nghiên cứu
Start in the Antigravity ACP integration under apps/server and trace how its file-reading tools handle disk paths; compare that path with the composer attachment handling described in docs/user/providers-antigravity.md. First determine how the standalone agy CLI passes local media to Gemini and how Windows support differs. Done means Gemini can natively ingest local audio and video by path, including MP4 on Windows.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
Before submitting
- I searched existing issues and did not find an open issue covering this.
- I included enough detail to reproduce or investigate the problem.
Why this is not a duplicate of #25292 or #38504
Earlier reports describing this exact capability loss (#24969 and #36955) were closed as duplicates of PR #25292. However, PR #25292 fixed a different problem: it only made client_view_file return an error on binary files instead of decoding raw bytes as garbled UTF-8 text. It did not restore or enable native multimodal reading of local audio or video files from disk.
The only related open issue (#38504) also tracks only the remaining view_file binary-text bug on MP4 files, not delivering local audio or video files natively to Gemini models.
Area
apps/server
Problem description
When a user gives an Antigravity thread a file path on disk to a local audio or video file (such as .mp3, .wav, or .mp4), the Gemini model cannot actually listen to the audio or watch the video:
client_view_fileandview_fileonly handle UTF-8 text files (and are also restricted to workspace directories). On binary media files they either fail as non-text (after #25292) or return garbled bytes (#38504).- Shell tools (
run_command) only return text stdout/stderr, so the model still cannot perceive the audio or video natively. - As noted in #36955, Google's standalone
agyCLI can read local media files (frames and audio track) natively from disk, and T3 Code already delivers composer audio attachments (and macOS/Linux MP4 attachments up to 20 MiB) natively to Antigravity. It is specifically the disk-path / tool read path in T3 Code's Antigravity ACP integration that loses native audio and video understanding. - In addition,
docs/user/providers-antigravity.mdnotes that native MP4 video composer attachments are supported only on macOS and Linux, not Windows.
Why this matters more than ever with Gemini 4 Neon
With Gemini 4 Neon now available in T3 Code's Antigravity provider, native audio and video understanding is one of the strongest reasons to pick Gemini models over text/image-only coding models. Real workflows frequently involve audio or video files that already live on disk (for example long lecture recordings, meeting audio, screen recordings, or large media folders that should not be copied into a git repository or manually re-uploaded through the composer). Having to fall back to external Gemini API scripts, Whisper-only text, or FFmpeg frame extraction defeats the main advantage of running Gemini 4 Neon in T3 Code.
Steps to reproduce
- Open T3 Code with the
antigravityprovider andgemini-4-neon-medium(or another multimodal Gemini model). - Point the agent to a local
.mp3,.wav, or.mp4file by file path and ask it to listen to the audio or inspect the video natively (without external ASR or frame-extraction scripts). - Observe the tools available to the agent (
view_file,client_view_file,run_command).
Expected behavior
Antigravity ACP exposes a native media-reading path (or handles audio/video in its file-reading tool) so Gemini models such as Gemini 4 Neon can natively ingest local audio and video files referenced by path, matching the standalone agy CLI capability. Native MP4 handling should also work on Windows, not only macOS and Linux.
Actual behavior
The agent has no tool that passes a local audio or video file on disk into Gemini as native multimodal input, so it cannot listen to audio or watch video referenced by path.
Impact
Major degradation or frequent failure
Version or commit
T3 Code (Beta) 0.1.10
Environment
Windows 11 (10.0.26200.0), T3 Code Desktop 0.1.10, provider antigravity, model gemini-4-neon-medium.
Workaround
Manually splitting/uploading audio files as composer attachments (up to 50 MiB per file), or calling the Gemini API directly via an external Python script with a separate API key. Neither works seamlessly for local media workflows or Windows native MP4 video.
- Ngôn ngữ chính
- TypeScript
- Star
- 24.8k
- Fork
- 6.4k
- Merge trung bình
- 4 giờ 29 phút
- Pull request đã merge (30 ngày)
- 488
Chuẩn bị môi trường
Khởi chạy dev container của dự án ngay trên trình duyệt, bằng tài khoản GitHub của bạn.
- Không có Dockerfile hay tệp Docker Compose
- Có mẫu pull request
- Đọc hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của pingdotgg/t3code
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100
Maintainer thường phản hồi trong vòng 1 ngày
-
needs more info
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
pingdotgg/t3code#39400 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
[Bug]: Wrapped PR titles lose bottom padding in the thread details panelCó thể đã có người làm @iamdatvt94 đã nhận 1 ngày trước. Đang mởbug needs-triage
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
Maintainer thường phản hồi trong vòng 1 ngày
-
bug needs-triage
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 66/100
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 73/100
Maintainer thường phản hồi trong vòng 1 ngày
Tất cả issue của pingdotgg/t3code
Issue tương tự
-
area:plugins kind:bug priority:p2 ready
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 90/100
Maintainer thường phản hồi trong vòng 1 ngày
-
Escaped `*` followed by `*` (`\**`) never matchesCó thể đã có người làm @bardrop đã nhận hôm nay. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 71/100
editorconfig/editorconfig-core-js#172 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 82/100
vega/vega-webgpu#40 ·
-
Adjust break point sizingĐang mởtype: bug 🐛
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 63/100
puckeditor/puck#1929 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
compression() compresses every response at Brotli quality 11Có thể đã có người làm @staylor đã nhận hôm nay. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
Maintainer thường phản hồi trong vòng 1 ngày