Hacktoberfest 2026: as issues que os mantenedores marcaram para outubro, abertas e boas para iniciantes. Ver issues do Hacktoberfest

AutoML experiment: get model and metrics for any algorithm (not only for the best one)

Aberta
  • Algo errado?
#1,885 0 comentários 0 reações 0 responsáveis Ver no GitHub

Ninguém assumiu esta issue ainda.

Avaliação

Dificuldade
5/5
Tempo estimado
Mais de uma semana
Facilidade para iniciantes
35/100
Tipo de issue
Funcionalidade
Clareza
Razoavelmente clara
Status de atividade
Estagnada
Stack de tecnologia
azure, jupyter-notebook, python
Domínio
api, machine-learning

Direção de pesquisa

Comece pelo uso do cliente MLflow mostrado na issue, incluindo get_run, a tag automl_best_child_run_id e pipeline_id_000. Rastreie como as execuções filhas do AutoML são identificadas e como os nomes dos algoritmos se relacionam com seus nomes internos de execução. O trabalho estará concluído quando a recuperação de um modelo e suas métricas para qualquer algoritmo do experimento estiver documentada ou habilitada, não apenas para a melhor execução.

Escrita pelo modelo de indexação a partir do texto da issue.

Descrição

What I'm trying to do

For an AutoML Forecasting experiment, I'd like to compare the performance of the best model with the performance of another model from the same experiment.

For an AutoML run, I understand how to get the best performing model and its metrics like this:

# ...initialize MLFlow client...
mlflow_parent_run = mlflow_client.get_run('upbeat_square_abs3942')
best_child_run_id = mlflow_parent_run.data.tags["automl_best_child_run_id"]
best_run = mlflow_client.get_run(best_child_run_id)
best_run.data.metrics
# etc...

But how can I fetch the job for any model based on the algorithm name?
Something like:

# pseudocode:
mlflow_client.get_automl_run_by_algorithm('XGBoostRegressor')

So far, I managed to figure out the following:

  1. list of algorithms used in the AutoML experiment
mlflow_parent_run.data.tags['pipeline_id_000']
#  '__AutoML_Naive__;__AutoML_SeasonalNaive__;__AutoML_Average__;__AutoML_SeasonalAverage__;__AutoML_Ensemble__'

However, this list seems to be in an arbitrary order and I struggle to get the corresponding job names for the algorithms.

  1. "internal" job names for the child runs

The child runs seem to have different names than the names shown in Azure ML Studio.
They are named for instance upbeat_square_abs3942_2 - i.e. the name of the parent run upbeat_square_abs3942 followed by underscore plus a number (_2in this example).

But Azure ML Studio displays names like (no upbeat_square_abs3942_2 to be found):
image
So this code works:

child_run = mlflow_client.get_run('upbeat_square_abs3942_2')

but using a name shown in the screenshot above throws an exception, e.g.

child_run = mlflow_client.get_run('green_floor_0ln3tlpv')
Question

How can I obtain the model and metrics for any algorithm used in the experiment?

Thanks!

Linguagem predominante
Jupyter Notebook
Estrelas
4.4k
Forks
2.6k
Nenhum PR com merge em 30d

Preparar o ambiente

Este projeto não oferece contêiner de desenvolvimento, Dockerfile nem guia de contribuição, então a configuração fica por sua conta: comece pelo README e veja nosso guia da primeira contribuição para os passos gerais.

Primeiros passos

  1. Leia a issue inteira e depois o guia de contribuição do projeto.
  2. Comente na issue dizendo que vai assumir — evita que duas pessoas façam o mesmo trabalho.
  3. Faça um fork do repositório e trabalhe em uma branch.
  4. Abra um pull request que referencie o número da issue.

Mais de Azure/MachineLearningNotebooks

Todas as issues de Azure/MachineLearningNotebooks

Issues semelhantes

Mais issues de Backend & API Design

Receba novas issues na sua caixa de entrada

Um resumo curto de issues do GitHub para quem está começando.