Reliablility report is inaccurate

Aberta
#647 2 comentários 0 reações 0 responsáveis Ver no GitHub

Ninguém assumiu esta issue ainda.

Avaliação

Dificuldade
4/5
Tempo estimado
3-5 dias
Facilidade para iniciantes
35/100
Tipo de issue
Bug
Clareza
Precisa de esclarecimento
Status de atividade
Estagnada
Stack de tecnologia
javascript
Domínio
ci-cd, tooling

Direção de pesquisa

Comece rastreando como o relatório de confiabilidade de nodejs/reliability#388 deriva seus links Failed PR, First CI, Last CI e Appeared a partir das execuções referenciadas do Jenkins 46819, 46808, 47578 e 46857. Compare as relações entre builds pai e filho, incluindo a conexão com falha na execução 47578. O trabalho estará concluído quando os links e as contagens do relatório refletirem as execuções de CI que realmente foram executadas.

Escrita pelo modelo de indexação a partir do texto da issue.

Descrição

I started investigating https://github.com/nodejs/node/issues/44805
when taking a look at https://github.com/nodejs/reliability/issues/388:

Reason sequential/test-watch-mode-inspect
Type JS_TEST_FAILURE
Failed PR 9 (https://github.com/nodejs/node/pull/44787/, https://github.com/nodejs/node/pull/44741/, https://github.com/nodejs/node/pull/44767/, https://github.com/nodejs/node/pull/44770/, https://github.com/nodejs/node/pull/44376/, https://github.com/nodejs/node/pull/44693/, https://github.com/nodejs/node/pull/44686/, https://github.com/nodejs/node/pull/44771/, https://github.com/nodejs/node/pull/44711/)
Appeared test-nearform-macos10.15-x64-2, test-nearform-macos10.15-x64-1
First CI https://ci.nodejs.org/job/node-test-pull-request/46819/
Last CI https://ci.nodejs.org/job/node-test-pull-request/46857/
Example 
not ok 3789 sequential/test-watch-mode-inspect
  ---
  duration_ms: 120.67
  severity: fail
  exitcode: -15
  stack: |-
    timeout
    TAP version 13
    (node:37761) ExperimentalWarning: The test runner is an experimental feature. This feature could change at any time
    (Use `node --trace-warnings ...` to show where the warning was created)
  ...

the first PR in the Failed PR row has two CI runs prior to this report: 46819, 46808

the first CI run reports a failure for this based on the previous osx1015 run https://ci.nodejs.org/job/node-test-commit-osx/47578/ that did not actually run in this build (due to java.net.ConnectException: Connection timed out) but Jenkins still considers the child of a previous run to be the child of this run.

this obviously happened in other PRS/CI runs as well, wich makes the report links and count very hard to rely on when investigating flaky test issues

Linguagem predominante
JavaScript
Estrelas
313
Forks
137
Merge médio
2d 8h
PRs com merge (30d)
24

Guia de contribuição

Abrir o guia de contribuição

Primeiros passos

  1. Leia a issue inteira e depois o guia de contribuição do projeto.
  2. Comente na issue dizendo que vai assumir — evita que duas pessoas façam o mesmo trabalho.
  3. Faça um fork do repositório e trabalhe em uma branch.
  4. Abra um pull request que referencie o número da issue.

Mais de nodejs/node-core-utils

Todas as issues de nodejs/node-core-utils

Issues semelhantes

Mais issues de JavaScript

Receba novas issues na sua caixa de entrada

Um resumo curto de issues do GitHub para quem está começando.