How to reproduce the Online-Mind2Web evaluation scores (86.7%)?
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Aptitud para principiantes
- 35/100
- Tipo de issue
- Documentación
- Claridad
- Necesita aclaración
- Estado de actividad
- Activo
- Stack tecnológico
- python
- Área
- machine-learning
Línea de trabajo
No se nombran archivos, pruebas ni puntos de entrada. Empieza por localizar el pipeline de evaluación de Online-Mind2Web y su configuración o scripts, y luego documenta los pasos y ajustes necesarios para reproducir las puntuaciones reportadas.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Hi Webwright team,
Thanks for releasing this great project! I am interested in reproducing the evaluation results reported on the Online-Mind2Web benchmark (e.g., 86.7% accuracy with GPT-5.4).
Could you provide more guidance, configuration details, or scripts for running this evaluation pipeline?
Thanks in advance for your assistance!
- Lenguaje dominante
- Python
- Estrellas
- 6k
- Forks
- 383
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Preparar el entorno
Este proyecto no incluye contenedor de desarrollo, Dockerfile ni guía de contribución, así que la configuración corre por tu cuenta: empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de microsoft/Webwright
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 88/100
-
Memory leak: page.on() event listeners never removed on closePosiblemente ocupada @rahulrao85 la tomó hace 83 días. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
-
SKILL.md says Firefox is a prerequisite, but README.md doesn't.Posiblemente ocupada @nuthalapativarun la tomó hace 129 días. Abierto
Dificultad 1/5 Menos de una hora Aptitud para principiantes 78/100
-
playwright_patterns.md 'Browser launch skeleton' crashes with UnicodeEncodeError on Windows when aria_snapshot output contains non-cp1252 charactersPosiblemente ocupada @raykuo998 la tomó hace 131 días. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100
Todos los issues de microsoft/Webwright
Issues similares
-
feature:LinkChecker
Dificultad 2/5 1-3 horas Aptitud para principiantes 66/100
digitalfabrik/integreat-cms#4594 ·
Los mantenedores suelen responder en 5 días
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 70/100
EleutherAI/lm-evaluation-harness#4319 ·
Los mantenedores suelen responder en 1 día
-
needs triage
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
Los mantenedores suelen responder en 1 día
-
json_params_matcher fails on falsy top-level JSON primitives (0, False, "")Posiblemente ocupada @mayureshsonawane17 la tomó hoy. AbiertoWaiting for: Product Owner
Dificultad 2/5 1-3 horas Aptitud para principiantes 84/100
Los mantenedores suelen responder en 5 días