Website white-listing to avoid cheating
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 5/5
- Tiempo estimado
- Más de una semana
- Aptitud para principiantes
- 35/100
- Tipo de issue
- Nueva funcionalidad
- Claridad
- Necesita aclaración
- Estado de actividad
- Activo
- Área
- security
Línea de trabajo
El issue no menciona archivos de implementación ni pruebas. Empieza revisando el flujo de evaluación del benchmark y las dos URL de mirror de ejemplo; después, determina dónde debería representarse y aplicarse una whitelist de sitios aprobados. Se considera terminado cuando el alcance de la whitelist y su efecto en la evaluación estén definidos, documentados y verificados.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
As this dataset becomes more popular, some of its answers become widely available on the web. Some of its answers can be found on mirrors websites and on some random blogs. For example:
- https://modelscope.cn/api/v1/datasets/evalscope/officeqa/repo?Revision=master&FilePath=officeqa_pro.csv
- https://autobenchaudit.com/benchmark/officeqa_pro/task/UID0009__0ee33ad0e9
To make the evaluation fair and to preserve the original intent of this dataset, it would be useful to provide white-list of the approved website.
- Lenguaje dominante
- Jupyter Notebook
- Estrellas
- 205
- Forks
- 17
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Preparar el entorno
Este proyecto no incluye contenedor de desarrollo, Dockerfile ni guía de contribución, así que la configuración corre por tu cuenta: empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de databricks/officeqa
-
OCR error with certain numbersAbierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
databricks/officeqa#51 ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 62/100
databricks/officeqa#50 ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
databricks/officeqa#43 ·
-
Dificultad 4/5 3-5 días Aptitud para principiantes 32/100
databricks/officeqa#58 ·
-
Dificultad 3/5 1-2 días Aptitud para principiantes 45/100
databricks/officeqa#57 ·
Todos los issues de databricks/officeqa
Issues similares
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
FinanceFlash/unvibecode#509 ·
-
bug severity:low
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
Los mantenedores suelen responder en 2 días
-
enhancement needs-triage
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
valkey-io/valkey-operator#610 ·
Los mantenedores suelen responder en 3 días
-
area::auth
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
linagora/twake-on-matrix#3579 · 1 comentario · 1 reacción ·
Los mantenedores suelen responder en 3 días
-
status:in-linear status:team-assigned team:identity
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
n8n-io/n8n#43068 · 2 comentarios ·
Los mantenedores suelen responder en 1 día