[BUG] resolve failing and flaky tests in CI, and race conditions in tests using server

オープン

#1,586 2025年12月31日に作成コメント 4 件リアクション 0 件担当者 0 名 GitHub で見る

まだ誰も着手していません。

評価

難易度: 5/5
見積もり時間: 1週間以上
初心者へのやさしさ: 25/100

issue の種類: バグ
明瞭さ: 説明が足りない
活発さ: 静か
技術スタック: python
領域: backend, ci-cd, testing

調査の方向性

Start by reproducing the reported flaky failures in remote CI and inspect the server tests for shared-state or parallel-run races. Review the extension pattern from issue 1575 and compare the proposed mock, local-server, and decoupled server-test approaches. Done means the CI test matrix is reliable and server tests no longer fail sporadically when runs overlap.

索引モデルが issue の本文から書いたものです。

説明

bug testing

Currently, the remote CI is not reliable and will result in faliures and sporadic failures that are unrelated for the PR in question - that means the remote CI is not usable for practical purposes. Problems:

it may still be that not all failures are temporarily decorated with xfail and skip properly
I think there is a even race condition in tests for the server, which results in sporadic failures, especially if multiple CI runs happen in parallel (which happens in every PR since there is a test matrix)

I am not sure how to address this best long-term; short-term I would suggest to simply skip all the flaky tests.

Mid-term, I think the server tests need to be decoupled from openml-python SDK tests, i.e., replaced by three things:

mock backends for simple API tests
a local server option that runs on the VM. This can follow the extension pattern introduced in the v1-v2 migration, see https://github.com/openml/openml-python/issues/1575
tests for the server API decoupled from tests from openml-python, possibly on a CRON and controlling for race conditions

主要言語: Python
スター: 361
フォーク: 296
PR マージ指標: 30日以内にマージされた PR はありません

コントリビューションガイド

コントリビューションガイドを開く

はじめの一歩

issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
リポジトリをフォークし、ブランチを切って変更します。
issue 番号を参照したプルリクエストを送ります。

openml/openml-python のほかの issue

[ENH] list_estimation_procedures() should include the procedure IDs オープン

難易度 2/5 1〜3時間初心者へのやさしさ 70/100

openml/openml-python#1750 · コメント 1 件 · 2026年9月23日に作成
TEST Add sparse dataset inclusion coverage for row ID and ignore attributes. オープン

難易度 2/5 1〜3時間初心者へのやさしさ 88/100

openml/openml-python#1749 · 2026年9月22日に作成
[Refactor] Use walrus operator in study.py (Python 3.10+ upgrade) オープン

難易度 1/5 1時間未満初心者へのやさしさ 92/100

openml/openml-python#1746 · 2026年9月22日に作成
[DOC] Update documentation for running tests with local services オープン

Documentation Good First Issue

難易度 2/5 1〜3時間初心者へのやさしさ 74/100

openml/openml-python#1708 · コメント 7 件 · 2026年3月10日に作成
[MNT] Add Missing Assertions to Run Function Tests オープン

Good First Issue module:Run testing

難易度 2/5 1〜3時間初心者へのやさしさ 82/100

openml/openml-python#1646 · コメント 7 件 · リアクション 2 件 · 2026年2月18日に作成

openml/openml-python の issue をすべて見る

似ている issue

validate-structure inspecte challenge/work/.terraform et rend faux les labs qui ont un provider en cache オープン

bug

難易度 2/5 1〜3時間初心者へのやさしさ 75/100

stephrobert/dsoxlab#238 · 2026年9月24日に作成
Uniform probability densities use the upper bound as an interval width オープン

難易度 2/5 1〜3時間初心者へのやさしさ 75/100

nasa/fmdtools#40 · 2026年9月24日に作成
_common_folder() treats a single file as the common folder; single-file archives can't be installed (4.2.8) / crash (master) オープン

難易度 2/5 1〜3時間初心者へのやさしさ 75/100

sublimehq/package_control#1780 · 2026年9月24日に作成
Set 'Sample' input in 'autorun.py' to utilize 'Sample' Tab in eLog オープン

難易度 2/5 1〜3時間初心者へのやさしさ 65/100

pcdshub/mfx#309 · コメント 2 件 · 2026年9月24日に作成
niri config file addition does not respect existing optional include オープン

難易度 2/5 1〜3時間初心者へのやさしさ 70/100

nwg-piotr/nwg-displays#145 · 2026年9月24日に作成

Python の issue をもっと見る