关于Table1中UI-to-Code分数聚合方式的疑问
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Aptitud para principiantes
- 35/100
- Tipo de issue
- Documentación
- Claridad
- Necesita aclaración
- Estado de actividad
- Tranquilo
- Stack tecnológico
- python
- Área
- machine-learning
Línea de trabajo
Read evaluation/scripts/rate_statistics_ui2code.py and compare its score-bin output with the UI-to-Code values reported in Table 1. Determine whether the repository or paper defines the aggregation formula; done means documenting the exact aggregation method or identifying the missing source needed to answer the question.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
你好，感谢你们的工作和开源的评测代码！
我想请教一下论文 Table 1 里 UI-to-Code 任务的最终分数是怎么聚合的。我看了evaluation/scripts/rate_statistics_ui2code.py，这个脚本会从每个样本的 \boxed{N} 里提取 0-100 的整数分，然后输出 5 个区间（0-60、60-70、70-80、80-90、90-100）的分布百分比，但并没有输出一个能对应到 Table 1 数值（比如 76.3、84.5）的单一聚合指标。
想确认一下每个样本的得分最终是怎么聚合成 benchmark 分数的：
- 是所有样本得分的算术平均吗？
- 还是某个高分区间（比如 ≥80）的占比？
- 或者其他聚合方式？
谢谢！
- Lenguaje dominante
- Python
- Estrellas
- 86
- Forks
- 13
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Preparar el entorno
Aún no hemos revisado los archivos de configuración de este proyecto. Empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de zai-org/UI2Code_N
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 20/100
-
Need a UI polish demoAbierto
Dificultad 4/5 3-5 días Aptitud para principiantes 35/100
-
train codeAbierto
Dificultad 5/5 Más de una semana Aptitud para principiantes 15/100
-
Release UI2Code^N datasets (UI2Code-Real, UIPolish-Real, UIPolish-Synthetic) on Hugging FaceAbierto
Dificultad 4/5 3-5 días Aptitud para principiantes 35/100
-
PRAbierto
Dificultad 5/5 Más de una semana Aptitud para principiantes 10/100
Todos los issues de zai-org/UI2Code_N
Issues similares
-
good first issue
Dificultad 2/5 1-3 horas Aptitud para principiantes 88/100
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 88/100
vllm-project/vllm-metal#822 ·
Los mantenedores suelen responder en 1 día
-
vector-store
Dificultad 1/5 1-3 horas Aptitud para principiantes 90/100
mem0ai/mem0#7461 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
[Bug]: chunk_span_bounds and _validated_chunk_spans reject Pydantic models ChunkSpan and AudioFileAbierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
BasedHardware/omi#19047 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 88/100
Los mantenedores suelen responder en 1 día