Pain points in using the test suite

Abierto
#381 9 comentarios 0 reacciones 0 asignados Ver en GitHub

Nadie ha tomado este issue todavía.

Evaluación

Dificultad
5/5
Tiempo estimado
Más de una semana
Aptitud para principiantes
25/100
Tipo de issue
Nueva funcionalidad
Claridad
Necesita aclaración
Estado de actividad
Tranquilo
Stack tecnológico
python
Área
testing

Línea de trabajo

Comienza revisando los issues enlazados 197 y 379, el pull request 380 y las referencias a gh-329 y gh-169. Ejecuta la suite de pruebas con un backend indicado, como JAX o PyTorch, para identificar un problema específico de ergonomía y, antes de considerarlo terminado, confirma la mejora propuesta con los maintainers.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

tracking

There were reports of several pain points with using the test suite. This is a central tracker for potential improvements of the test suite ergonomics. Things previously reported:

  • difficulty in tracking expected failures across libraries. ISTM this is now as good as it gets, I don't know how to improve on the current --skips-file and --xfails-file usage.
  • https://github.com/data-apis/array-api-tests/issues/197 reported that the test suite is prohibitively slow on jax. Unclear if it is still a problem after the worst offenders were rewritten a while ago. There are several potential ideas in the issue; what's not clear ATM is whether this is still a problem. And if it is, what are the slowest tests and where is the time spent (for instance, for torch I observed that the slowest tests spent majority of time in the internals of hypothesis).
  • https://github.com/data-apis/array-api-tests/issues/379 reported that it is difficult to interpret failures, and https://github.com/data-apis/array-api-tests/pull/380 works towards improving the reporting.
  • gh-329 and gh-169 reported issues with optional extensions

If you're using the test suite, we'd like to hear from you. Please add the pain points and/or suggestions for improvement to this issue.

Lenguaje dominante
Python
Estrellas
74
Forks
54
Merge medio
4 d 15 h
PR fusionados (30 d)
6

Guía de contribución

No hay ninguna guía de contribución indexada para este repositorio

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de data-apis/array-api-tests

Todos los issues de data-apis/array-api-tests

Issues similares

Más issues de Python

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.