Hacktoberfest 2026：メンテナが10月に向けて印を付けた、オープンで初心者向けの issue。 Hacktoberfest の issue を見る

establish testing (at least smoke) for the notebooks on the hub instance

オープン
  • 何か問題がありますか？
#10 コメント 0 件 リアクション 0 件 担当者 0 名 GitHub で見る

まだ誰も着手していません。

評価

難易度
5/5
見積もり時間
1週間以上
初心者へのやさしさ
25/100
issue の種類
機能追加
明瞭さ
説明が足りない
活発さ
停滞
技術スタック
jupyter-notebook
領域
testing

調査の方向性

記録された pytest --nbmake dandi-notebooks/ の実行と、参照されている nbmake のアプローチから始めます。notebook とその requirements.txt ファイルを調査し、その後、分離された環境と hub のインスタンスタイプをどのように選択すべきかを明確にします。notebook のスモークテストを、意図した hub 環境に対して再現可能な形で実行でき、合格または失敗の結果が明確に得られる状態を完了とします。

索引モデルが issue の本文から書いたものです。

説明

with https://github.com/dandi/example-notebooks/issues/9 as the motivator, I think it would be important for us to ensure that notebooks we provide "work" on the hub.

  • we need a way to test notebooks on an existing instance of the hub, so we could test new/updated/beta version of the hub
    • testing could be just smoke run of the notebook to start with
    • I found this article which introduces nbmake
      • running pytest --nbmake dandi-notebooks/ now, will report below the "results"
    • to complete in reasonable time we might want to allow to run them in parallel (might not do parallel on small instance)
  • we should be able to trigger "testing" all notebooks for a specific type of the hub instance (is that "scriptable" @satra to start a specific instance and interact with that environment)?
  • similarly to https://github.com/dandi/dandi-api-webshots/ and https://github.com/datalad/datalad-extensions/ we could have a repository (e.g. example-notebooks-dashboard) which would contain the README.md which in a table would list which notebooks are ok or failing on which type of hub instance.
current as of 20211027 state of things 
jovyan@jupyter-yarikoptic:~$ pytest  --nbmake dandi-notebooks/
===================================== test session starts =====================================
platform linux -- Python 3.9.6, pytest-6.2.5, py-1.10.0, pluggy-1.0.0
rootdir: /home/jovyan
plugins: nbmake-0.10, anyio-3.3.0
collected 9 items                                                                             

dandi-notebooks/000004_demo_analysis.ipynb F                                            [ 11%]
dandi-notebooks/NWBWidget-demo.ipynb F                                                  [ 22%]
dandi-notebooks/Untitled.ipynb .                                                        [ 33%]
dandi-notebooks/000055/BruntonLab/peterson21/Fig_coarse_labels.ipynb F                  [ 44%]
dandi-notebooks/000055/BruntonLab/peterson21/Fig_pow_spectra.ipynb F                    [ 55%]
dandi-notebooks/000055/BruntonLab/peterson21/Table_coarse_labels.ipynb F                [ 66%]
dandi-notebooks/000055/BruntonLab/peterson21/Table_part_characteristics.ipynb F         [ 77%]
dandi-notebooks/000055/BruntonLab/peterson21/dashboard.ipynb .                          [ 88%]
dandi-notebooks/cosyne_2020_tutorial/NWB_tutorial_2019.ipynb .                          [100%]

edit 1:

  • as @bendichter pointed out - some notebooks need environment with nwb extension(s) installed. So we can't just run them all in the same environment. We might need to annotate and then group and run in specific environments
  • some notebooks have their own pip install -r requirements.txt which alters the environment thus making order of execution matter etc. Not yet sure what to do about that, besides running each test in a new "clone" of the test environment
主要言語
Jupyter Notebook
スター
9
フォーク
20
平均マージ
1時間 56分
マージ済み PR（30日）
2

環境構築

このプロジェクトには開発コンテナ、Dockerfile、コントリビューションガイドがありません。まず README を読み、一般的な手順ははじめてのコントリビューションガイドを参照してください。

はじめの一歩

  1. issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
  2. 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
  3. リポジトリをフォークし、ブランチを切って変更します。
  4. issue 番号を参照したプルリクエストを送ります。

dandi/example-notebooks のほかの issue

dandi/example-notebooks の issue をすべて見る

似ている issue

Testing & QA の issue をもっと見る

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。