Hacktoberfest 2026: những issue maintainer đã đánh dấu cho tháng Mười, đang mở và phù hợp người mới. Xem issue Hacktoberfest

Quality degradation after many frames with no action conditioning

Đang mở
  • Có gì không ổn?
#35 2 bình luận 0 reaction 0 người được giao Xem trên GitHub

Chưa có ai nhận issue này.

Đánh giá

Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức phù hợp với người mới
25/100
Loại issue
Lỗi
Độ rõ ràng
Cần làm rõ
Mức độ hoạt động
Đình trệ
Công nghệ
python
Lĩnh vực
machine-learning

Hướng nghiên cứu

Start by reproducing the degradation with inference.py and inference_streaming.py using configs/inference_yaml/inference_universal.yaml, the listed checkpoint and demo_images/universal/0011.png. Compare long runs with zero mouse and keyboard conditioning against the reported outputs, then trace the relevant generation path to determine whether the behavior is expected. Done means the cause is documented and the quality degradation is resolved or an evidence-backed mitigation is identified.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

I observed that after generating many blocks of frames without action conditioning (i.e. mouse input = "u", keyboard input = "q") the frames show the same scene but there is quality degradation (eg distortion, visual artifacts) over time.

This can be reproduced with both inference.py and inference_streaming.py using this branch which contains a small change to generate mouse and keyboard condition tensors with all zeros (i.e. no mouse or keyboard input).

For inference.py, I used this command:

python inference.py \                                                
 --config_path configs/inference_yaml/inference_universal.yaml \                                                                              
 --checkpoint_path Matrix-Game-2.0/base_distilled_model/base_distill.safetensors \                                                            
 --img_path demo_images/universal/0011.png \                                                                                                  
 --output_folder outputs \                                                                                                                    
 --num_output_frames 150 \                                                                                                                    
 --seed 42 \                                                                                                                                  
 --pretrained_model_path Matrix-Game-2.0

This is the resulting video:

https://github.com/user-attachments/assets/45960183-82d8-499d-863f-ad2888d49764

For inference_streaming.py, I used this command:

python inference_streaming.py \
 --config_path configs/inference_yaml/inference_universal.yaml \
 --checkpoint_path Matrix-Game-2.0/base_distilled_model/base_distill.safetensors \
 --output_folder outputs \
 --seed 42 \
 --pretrained_model_path Matrix-Game-2.0

And also used demo_images/universal/0011.png as the input image and repeatedly entered "u" for mouse input and "q" for keyboard input.

This is the resulting video:

https://github.com/user-attachments/assets/cd6da561-ae44-46b5-8dbd-ac1c966bfaef

Is this known/expected behavior? If so, I'm wondering if anyone has thoughts on the best way to avoid the quality degradation because as-is any pause in action resulting in a static scene would cause the quality to degrade. A workaround might be to skip frame generation when there are no actions, but I think the downside of that you would lose the ability to get frames for the same scene with minor animation details eg changes in the water for the demo image used above.

Ngôn ngữ chính
Python
Star
2.3k
Fork
256
Không có pull request nào được merge trong 30 ngày

Chuẩn bị môi trường

Dự án này không cung cấp dev container, Dockerfile hay hướng dẫn đóng góp, nên bạn cần tự thiết lập môi trường: hãy bắt đầu từ README và xem hướng dẫn đóng góp lần đầu của chúng tôi để biết các bước chung.

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của SkyworkAI/Matrix-Game

Tất cả issue của SkyworkAI/Matrix-Game

Issue tương tự

Thêm issue về Python

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.