High failure rate in T2AV generation
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức phù hợp với người mới
- 45/100
- Loại issue
- Lỗi
- Độ rõ ràng
- Khá rõ ràng
- Mức độ hoạt động
- Đình trệ
- Công nghệ
- python
- Lĩnh vực
- audio-video-rtc, machine-learning
Hướng nghiên cứu
Bắt đầu trong pipeline_mova.py, tập trung vào giai đoạn prepare_latents, nơi PIL.Image màu trắng hoàn toàn được tải, mã hóa và nối lại để tạo T2V tiêu chuẩn. Tái hiện luồng T2V/T2AV của MOVA và so sánh các video tạo thành công với các đầu ra bị hỏng có màu đồng nhất. Hoàn thành khi quy trình tạo không còn tạo ra các lỗi latent-collapse đã báo cáo ở tỷ lệ nêu trên.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
Describe
When using the MOVA pipeline for pure T2V/T2AV generation, I am experiencing a highly unstable generation process. Approximately 40% of the generated videos result in corrupted, solid-color outputs (the entire video is just a flat color with no coherent structures or details).
Following the standard T2V approach for MOVA, I am passing a pure white PIL.Image as the image condition to the pipeline. I strongly suspect the issue lies in how the pipeline_mova.py loads, encodes, or concatenates this pure white frame in the prepare_latents stage, leading to a latent collapse during the diffusion process.
- Ngôn ngữ chính
- Python
- Star
- 1.1k
- Fork
- 95
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Chuẩn bị môi trường
Dự án này không cung cấp dev container, Dockerfile hay hướng dẫn đóng góp, nên bạn cần tự thiết lập môi trường: hãy bắt đầu từ README và xem hướng dẫn đóng góp lần đầu của chúng tôi để biết các bước chung.
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của OpenMOSS/MOVA
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
-
Verify evals on Papers with CodeĐang mở
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 48/100
-
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 38/100
-
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 48/100
-
两个角色的时候，会出现对白混乱的情况，请问有什么策略可优化Đang mở
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 25/100
Tất cả issue của OpenMOSS/MOVA
Issue tương tự
-
bug good first issue
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
yunaremaia/proto-drift#22 ·
-
bug good first issue
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 82/100
yunaremaia/memwatch#96 ·
-
bug good first issue
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 91/100
yunaremaia/ci-gate-watch#34 ·
-
bug good first issue
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 85/100
yunaremaia/agent-capability-attestation#64 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
bug good first issue
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 86/100
yunaremaia/agent-call-graph#43 ·
Maintainer thường phản hồi trong vòng 1 ngày