Hacktoberfest 2026 : les issues que les mainteneurs ont marquées pour octobre, ouvertes et accessibles aux débutants. Parcourir les issues Hacktoberfest

[BUG] resolve failing and flaky tests in CI, and race conditions in tests using server

Ouverte
#1,586 4 commentaires 0 réactions 0 personnes assignées Voir sur GitHub

Personne n'a encore pris cette issue.

Évaluation

Difficulté
5/5
Temps estimé
Plus d'une semaine
Accessibilité débutants
25/100
Type d'issue
Bug
Clarté
À clarifier
Activité
Calme
Stack technique
python
Domaine
backend, ci-cd, testing

Piste de recherche

Start by reproducing the reported flaky failures in remote CI and inspect the server tests for shared-state or parallel-run races. Review the extension pattern from issue 1575 and compare the proposed mock, local-server, and decoupled server-test approaches. Done means the CI test matrix is reliable and server tests no longer fail sporadically when runs overlap.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Description

bug testing

Currently, the remote CI is not reliable and will result in faliures and sporadic failures that are unrelated for the PR in question - that means the remote CI is not usable for practical purposes. Problems:

  • it may still be that not all failures are temporarily decorated with xfail and skip properly
  • I think there is a even race condition in tests for the server, which results in sporadic failures, especially if multiple CI runs happen in parallel (which happens in every PR since there is a test matrix)

I am not sure how to address this best long-term; short-term I would suggest to simply skip all the flaky tests.

Mid-term, I think the server tests need to be decoupled from openml-python SDK tests, i.e., replaced by three things:

  • mock backends for simple API tests
  • a local server option that runs on the VM. This can follow the extension pattern introduced in the v1-v2 migration, see https://github.com/openml/openml-python/issues/1575
  • tests for the server API decoupled from tests from openml-python, possibly on a CRON and controlling for race conditions
Langage dominant
Python
Étoiles
361
Forks
296
Aucune PR mergée en 30 j

Guide de contribution

Ouvrir le guide de contribution

Par où commencer

  1. Lisez l'issue en entier, puis le guide de contribution du projet.
  2. Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
  3. Forkez le dépôt et travaillez sur une branche.
  4. Ouvrez une pull request qui référence le numéro de l'issue.

Autres issues de openml/openml-python

Toutes les issues de openml/openml-python

Issues similaires

Plus d'issues Python

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.