automl/auto-sklearn

Stress test repeated construction and fitting from same process

Open

#1.303 aberto em 17 de nov. de 2021

Ver no GitHub
 (3 comments) (0 reactions) (0 assignees)Python (1.265 forks)batch import
Good first issuemaintenance

Métricas do repositório

Stars
 (7.270 stars)
Métricas de merge de PR
 (Nenhuma PRs mesclada em 30d)

Description

From issue #1302, it appears autosklearn is a bit unstable when run many times in the same script, i.e. in a for loop.

for i in range(400):
    automodel = AutoSklearn(full_resources)
    automodel.fit(x, y)

We currently have no test for this and it would be good to see if we can reproduce the same connection refused error.

Guia do colaborador

Direção de pesquisa
Investigue o errore de conexão recusada relatado na issue #1302. Revise os arquivos de teste existentes no repositório, particularmente aqueles no diretório 'test', para identificar padrões sobre como escrever testes de estresse. Escreva um teste que instancie e ajuste modelos AutoSklearn em um loop (por exemplo, 400 iterações) para ver se o erro se reproduz. Preste atenção à limpeza de recursos entre as iterações.
Pilha de tecnologia
python
Domain
machine learning
Tipo Issue
Teste
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
3-5 dias
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Principalmente claro
Prerequisites
None
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
70