关于Table1中UI-to-Code分数聚合方式的疑问
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức phù hợp với người mới
- 35/100
- Loại issue
- Tài liệu
- Độ rõ ràng
- Cần làm rõ
- Mức độ hoạt động
- Ít trao đổi
- Công nghệ
- python
- Lĩnh vực
- machine-learning
Hướng nghiên cứu
Read evaluation/scripts/rate_statistics_ui2code.py and compare its score-bin output with the UI-to-Code values reported in Table 1. Determine whether the repository or paper defines the aggregation formula; done means documenting the exact aggregation method or identifying the missing source needed to answer the question.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
你好，感谢你们的工作和开源的评测代码！
我想请教一下论文 Table 1 里 UI-to-Code 任务的最终分数是怎么聚合的。我看了evaluation/scripts/rate_statistics_ui2code.py，这个脚本会从每个样本的 \boxed{N} 里提取 0-100 的整数分，然后输出 5 个区间（0-60、60-70、70-80、80-90、90-100）的分布百分比，但并没有输出一个能对应到 Table 1 数值（比如 76.3、84.5）的单一聚合指标。
想确认一下每个样本的得分最终是怎么聚合成 benchmark 分数的：
- 是所有样本得分的算术平均吗？
- 还是某个高分区间（比如 ≥80）的占比？
- 或者其他聚合方式？
谢谢！
- Ngôn ngữ chính
- Python
- Star
- 86
- Fork
- 13
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Hướng dẫn đóng góp
Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của zai-org/UI2Code_N
-
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 20/100
-
Need a UI polish demo Đang mở
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 35/100
-
train code Đang mở
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 15/100
-
Release UI2Code^N datasets (UI2Code-Real, UIPolish-Real, UIPolish-Synthetic) on Hugging Face Đang mở
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 35/100
-
PR Đang mở
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 10/100
Tất cả issue của zai-org/UI2Code_N
Issue tương tự
-
agent-ready documentation needs-triage
Độ khó 1/5 1-3 giờ Mức phù hợp với người mới 88/100
-
documentation
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 91/100
-
workflow-status page template still says reusable workflows are "triggered only by workflow_call:" Đang mở
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 92/100
-
Add https://search.jeremyh.xyz/ Đang mởinstance instance add
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 72/100
searxng/searx-instances#939 · 1 bình luận ·
-
area-deployment area-integrations triage:bot-seen
Độ khó 2/5 Nửa ngày Mức phù hợp với người mới 86/100