Verify evals on Papers with Code
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 2/5
- Thời gian dự kiến
- 1-3 giờ
- Mức phù hợp với người mới
- 48/100
- Loại issue
- Tài liệu
- Độ rõ ràng
- Khá rõ ràng
- Mức độ hoạt động
- Ít trao đổi
- Công nghệ
- huggingface
- Lĩnh vực
- machine-learning
Hướng nghiên cứu
Start with the linked Papers with Code paper and its MMAU and MMSU result pages, then compare the imported scores, model name, benchmark protocols, and openness metadata with the paper or official release artifacts. The work is done when each result is confirmed or the needed corrections are identified and communicated.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
Hi,
Niels here from the open-source team at Hugging Face. Congratulations on your work!
I've made the paper and 2 verified paper-native evaluations available on Papers with Code.
The paper is part of the Audio understanding task page.
The Step-Audio-R1.5 results currently rank second on MMAU and MMSU.
Would it be possible to verify these results and let me know if any score, model name, benchmark protocol, or openness metadata should be corrected? The imported rows are tied to the paper or its official release artifacts; comparison-table baselines were not added.
You can also edit the task, methods, project page, and GitHub URL directly from the paper page using your Hugging Face account.
If you'd like to showcase the results in your repository README, you can copy these live leaderboard badges (or use the “Copy PwC badge” button in the Results section):
Kind regards,
Niels
- Ngôn ngữ chính
- Python
- Star
- 699
- Fork
- 51
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Chuẩn bị môi trường
Chúng tôi chưa kiểm tra các tệp thiết lập môi trường của dự án này. Hãy bắt đầu từ README và xem hướng dẫn đóng góp lần đầu của chúng tôi để biết các bước chung.
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của stepfun-ai/Step-Audio-R1
-
vllm branch name errorĐang mở
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 75/100
stepfun-ai/Step-Audio-R1#5 · 2 bình luận · 2 reaction ·
-
R1.5 模型开源Đang mở
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 20/100
stepfun-ai/Step-Audio-R1#22 ·
-
请问如何不使用vLLM进行推理呢Đang mở
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 20/100
stepfun-ai/Step-Audio-R1#21 ·
-
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 15/100
stepfun-ai/Step-Audio-R1#20 ·
-
realtime相关内容Đang mở
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 25/100
stepfun-ai/Step-Audio-R1#19 · 2 bình luận ·
Tất cả issue của stepfun-ai/Step-Audio-R1
Issue tương tự
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 76/100
PedestrianDynamics/pyFDS-Evac#199 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 65/100
521xueweihan/HelloGitHub#3790 ·
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
sandialabs/atlas-ui-3#978 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
area: tests perceived difficulty: 2
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
Nitjsefnie-Harness-Commons/daedalus#1255 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
hf-audiolm-qwen: `generate_until` hardcodes `.to("cuda")` and aborts on non-CUDA acceleratorsĐang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 86/100
EleutherAI/lm-evaluation-harness#4256 ·
Maintainer thường phản hồi trong vòng 1 ngày