[BUG] Creating a task requires an estimation procedure ID, but procedure is not correctly created
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 3/5
- Tempo stimato
- 1-2 giorni
- Idoneità per principianti
- 55/100
- Tipo di issue
- Bug
- Chiarezza
- Abbastanza chiara
- Stato di attività
- Attiva
- Stack tecnologico
- python
- Ambito
- backend-api-design
Direzione di ricerca
The issue is in openml/tasks/task.py, specifically the create_task() function and the OpenMLTask class handling of estimation_procedure_id. Start by examining the default value flow and where the procedure becomes None. Test with the provided script on a local docker instance to reproduce the error. Check the split dimensions and estimation procedure attributes after task creation to confirm the bug.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
It is important to first note that the tasks/task.py appears to be slightly different from the version obtainable through pip install "openml==0.15.1", which would've elevated the priority while reducing the effort had the GitHub version not experienced the same bug.
The create_task() function requires an estimation_procedure_id parameter despite it having a default value in all cases, which all funnel towards the same OpenMLTask class where the handling of estimation procedure appears to break*.
It was tested without publication on the main server, as well as with publication on a local docker instance (test server does not have any procedures), where in both cases the create_task() function creates a task with Estimation Procedure equal to None and no data split (errors follow).
import openml
from openml.tasks import TaskType
openml.config.server = "..."
openml.config.apikey = "..."
did = 128 # iris
try:
my_task = openml.tasks.create_task(
task_type=TaskType.SUPERVISED_CLASSIFICATION,
dataset_id=did,
target_name="class",
evaluation_measure="predictive_accuracy",
estimation_procedure_id=1,
)
my_task.publish()
except openml.exceptions.OpenMLServerException as e:
# Error code for 'task already exists'
if e.code == 614:
# Lookup task
tasks = openml.tasks.list_tasks(data_id=did, output_format='dataframe')
tasks = tasks.query(
'task_type == "Supervised Classification" '
'and estimation_procedure == "10-fold Crossvalidation" '
'and evaluation_measures == "predictive_accuracy"'
)
display(tasks)
task_id = tasks.loc[:, "tid"].values[0]
print("Task already exists. Task ID is", task_id)
print(my_task)
print(my_task.estimation_procedure)
print(my_task.get_split_dimensions())
* Unconfirmed, however it is a good starting point.
- Lingua principale
- Python
- Stelle
- 361
- Fork
- 296
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Guida per i contributori
Apri la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di openml/openml-python
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 70/100
openml/openml-python#1750 · 1 commento ·
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 88/100
openml/openml-python#1749 ·
-
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 92/100
openml/openml-python#1746 ·
-
Documentation Good First Issue
Difficoltà 2/5 1-3 ore Idoneità per principianti 74/100
openml/openml-python#1708 · 7 commenti ·
-
Good First Issue module:Run testing
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
openml/openml-python#1646 · 7 commenti · 2 reazioni ·
Tutte le issue di openml/openml-python
Issue simili
-
area: harness bug status: needs-triage
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
Human-Agent-Society/reef#625 ·
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 70/100
-
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 80/100
learningequality/kolibri#15351 · 2 commenti ·
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
-
Name consistency Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
eellak/triplestore#65 · 1 commento ·