Allow for custom evaluation procedures
まだ誰も着手していません。
評価
- 難易度
- 5/5
- 見積もり時間
- 1週間以上
- 初心者へのやさしさ
- 25/100
- issue の種類
- 機能追加
- 明瞭さ
- 説明が足りない
- 活発さ
- 停滞
- 技術スタック
- python
調査の方向性
まず、リンクされたSlackスレッドと、サーバーに既に存在する評価手順の処理を読んでください。issueではファイルもテストも指定されていません。カスタム手順をサポートするかどうか、またどのようにサポートするかについて、タスクタイプ間での利用可能性や実験結果の一貫性も含めて決定することで、何をもって完了とするかが定まります。
索引モデルが issue の本文から書いたものです。
説明
Based on this thread. We should discuss whether we want to allow people to create custom evaluation procedures (e.g., “30 times 3-fold Crossvalidation”) and how we want to support this. Possible concerns include spotty availability (might not support the entire tasktype x procedure matrix) and splintering experimental results. But there are of course also obvious benefits :)
- 主要言語
- Python
- スター
- 16
- フォーク
- 50
- PR マージ指標
- 30日以内にマージされた PR はありません
環境構築
このプロジェクトの環境構築ファイルはまだ確認していません。まず README を読み、一般的な手順ははじめてのコントリビューションガイドを参照してください。
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
openml/server-api のほかの issue
-
behavior
難易度 2/5 1〜3時間 初心者へのやさしさ 62/100
openml/server-api#337 · コメント 1 件 ·
-
Redesign POST /data/untag for v2再び着手できるかも @omosola が 29 日前に担当しましたが、オープン中のプルリクエストはありません。 オープンproposal
openml/server-api#375 · コメント 2 件 · 担当者 1 名 ·
-
Redesign POST /data/tag for v2再び着手できるかも @omosola が 29 日前に担当しましたが、オープン中のプルリクエストはありません。 オープン
openml/server-api#374 · コメント 2 件 · 担当者 1 名 ·
-
Redesign POST /data/qualities/unprocessed/{data_engine_id}/{order} for v2再び着手できるかも @omosola が 29 日前に担当しましたが、オープン中のプルリクエストはありません。 オープン
openml/server-api#373 · 担当者 1 名 ·
-
Redesign POST /data/qualities for v2再び着手できるかも @omosola が 29 日前に担当しましたが、オープン中のプルリクエストはありません。 オープン
openml/server-api#372 · 担当者 1 名 ·
openml/server-api の issue をすべて見る
似ている issue
-
[Bug] @deck.gl/arcgis dist import resolves to unpublished @deck.gl/core source path (9.3.11, 9.4.0)オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
メンテナーはふだん 1 日以内に返信
-
workflow: a tick's dispatch counts as 'only this step', and no review self-grants a round unattendedオープンworkflow
難易度 2/5 1〜3時間 初心者へのやさしさ 85/100
kristofdegrave/homeassistant-smart-charging#1505 ·
メンテナーはふだん 1 日以内に返信
-
metadata submission
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
-
bug
難易度 2/5 1〜3時間 初心者へのやさしさ 65/100
canonical/content-cache-operator#163 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
[submission]オープンsubmission
難易度 1/5 1時間未満 初心者へのやさしさ 65/100
leanprover/lean-eval-submissions#1852 ·
メンテナーはふだん 1 日以内に返信