Allow for custom evaluation procedures
Personne n'a encore pris cette issue.
Évaluation
- Difficulté
- 5/5
- Temps estimé
- Plus d'une semaine
- Accessibilité débutants
- 25/100
- Type d'issue
- Fonctionnalité
- Clarté
- À clarifier
- Activité
- À l'abandon
- Stack technique
- python
- Domaine
- backend-api-design
Piste de recherche
Commencez par lire le fil Slack lié et la gestion existante des procédures d’évaluation par le serveur ; l’issue ne mentionne aucun fichier ni test. Une décision sur la prise en charge ou non des procédures personnalisées et sur la manière de la mettre en œuvre, notamment leur disponibilité pour les différents types de tâches et la cohérence des résultats expérimentaux, permettrait de définir à quoi ressemble un travail terminé.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Description
Based on this thread. We should discuss whether we want to allow people to create custom evaluation procedures (e.g., “30 times 3-fold Crossvalidation”) and how we want to support this. Possible concerns include spotty availability (might not support the entire tasktype x procedure matrix) and splintering experimental results. But there are of course also obvious benefits :)
- Langage dominant
- Python
- Étoiles
- 17
- Forks
- 50
- Métriques de merge des PR
- Aucune PR mergée en 30 j
Préparer son environnement
- Fournit un Dockerfile ou un fichier Docker Compose
- Propose un modèle de pull request
- Aucun guide de contribution
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Autres issues de openml/server-api
-
behavior
Difficulté 2/5 1-3 heures Accessibilité débutants 62/100
openml/server-api#337 · 1 commentaire ·
-
Redesign POST /data/untag for v2Peut-être à nouveau libre @omosola l’a pris il y a 30 jours, et aucune pull request n’est ouverte. Ouverteproposal
openml/server-api#375 · 2 commentaires · 1 personne assignée ·
-
Redesign POST /data/tag for v2Peut-être à nouveau libre @omosola l’a pris il y a 30 jours, et aucune pull request n’est ouverte. Ouverte
openml/server-api#374 · 2 commentaires · 1 personne assignée ·
-
Redesign POST /data/qualities/unprocessed/{data_engine_id}/{order} for v2Peut-être à nouveau libre @omosola l’a pris il y a 30 jours, et aucune pull request n’est ouverte. Ouverte
openml/server-api#373 · 1 personne assignée ·
-
Redesign POST /data/qualities for v2Peut-être à nouveau libre @omosola l’a pris il y a 30 jours, et aucune pull request n’est ouverte. Ouverte
openml/server-api#372 · 1 personne assignée ·
Toutes les issues de openml/server-api
Issues similaires
-
Difficulté 2/5 1-3 heures Accessibilité débutants 78/100
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 2/5 1-3 heures Accessibilité débutants 85/100
kornia/kornia#5263 · 1 commentaire ·
Les mainteneurs répondent en général sous 1 jour
-
Metadata correction for W16-5400Ouverteapproved correction metadata
Difficulté 1/5 Moins d'une heure Accessibilité débutants 88/100
acl-org/acl-anthology#10133 · 1 commentaire ·
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 2/5 1-3 heures Accessibilité débutants 78/100
BasedHardware/omi#20084 ·
Les mainteneurs répondent en général sous 1 jour
-
bug needs-acceptance wg/evaluation-quality
Difficulté 2/5 1-3 heures Accessibilité débutants 76/100
vllm-project/semantic-router#4424 ·
Les mainteneurs répondent en général sous 1 jour