Reliablility report is inaccurate

Abierto
#647 2 comentarios 0 reacciones 0 asignados Ver en GitHub

Nadie ha tomado este issue todavía.

Evaluación

Dificultad
4/5
Tiempo estimado
3-5 días
Aptitud para principiantes
35/100
Tipo de issue
Error
Claridad
Necesita aclaración
Estado de actividad
Estancado
Stack tecnológico
javascript
Área
ci-cd, tooling

Línea de trabajo

Comienza rastreando cómo el informe de fiabilidad de nodejs/reliability#388 deriva sus enlaces Failed PR, First CI, Last CI y Appeared a partir de las ejecuciones de Jenkins referenciadas 46819, 46808, 47578 y 46857. Compara las relaciones entre las compilaciones padre e hija, incluida la conexión fallida en la ejecución 47578. Se considera completado cuando los enlaces y los recuentos del informe reflejan las ejecuciones de CI que realmente se ejecutaron.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

I started investigating https://github.com/nodejs/node/issues/44805
when taking a look at https://github.com/nodejs/reliability/issues/388:

Reason sequential/test-watch-mode-inspect
Type JS_TEST_FAILURE
Failed PR 9 (https://github.com/nodejs/node/pull/44787/, https://github.com/nodejs/node/pull/44741/, https://github.com/nodejs/node/pull/44767/, https://github.com/nodejs/node/pull/44770/, https://github.com/nodejs/node/pull/44376/, https://github.com/nodejs/node/pull/44693/, https://github.com/nodejs/node/pull/44686/, https://github.com/nodejs/node/pull/44771/, https://github.com/nodejs/node/pull/44711/)
Appeared test-nearform-macos10.15-x64-2, test-nearform-macos10.15-x64-1
First CI https://ci.nodejs.org/job/node-test-pull-request/46819/
Last CI https://ci.nodejs.org/job/node-test-pull-request/46857/
Example 
not ok 3789 sequential/test-watch-mode-inspect
  ---
  duration_ms: 120.67
  severity: fail
  exitcode: -15
  stack: |-
    timeout
    TAP version 13
    (node:37761) ExperimentalWarning: The test runner is an experimental feature. This feature could change at any time
    (Use `node --trace-warnings ...` to show where the warning was created)
  ...

the first PR in the Failed PR row has two CI runs prior to this report: 46819, 46808

the first CI run reports a failure for this based on the previous osx1015 run https://ci.nodejs.org/job/node-test-commit-osx/47578/ that did not actually run in this build (due to java.net.ConnectException: Connection timed out) but Jenkins still considers the child of a previous run to be the child of this run.

this obviously happened in other PRS/CI runs as well, wich makes the report links and count very hard to rely on when investigating flaky test issues

Lenguaje dominante
JavaScript
Estrellas
313
Forks
137
Merge medio
2 d 8 h
PR fusionados (30 d)
24

Guía de contribución

Abrir la guía de contribución

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de nodejs/node-core-utils

Todos los issues de nodejs/node-core-utils

Issues similares

Más issues de JavaScript

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.