automl/auto-sklearn

Stress test repeated construction and fitting from same process

Open

#1303 aperta il 17 nov 2021

Vedi su GitHub
 (3 commenti) (0 reazioni) (0 assegnatari)Python (1265 fork)batch import
Good first issuemaintenance

Metriche repository

Star
 (7270 star)
Metriche merge PR
 (Nessuna PR mergiata in 30 g)

Descrizione

From issue #1302, it appears autosklearn is a bit unstable when run many times in the same script, i.e. in a for loop.

for i in range(400):
    automodel = AutoSklearn(full_resources)
    automodel.fit(x, y)

We currently have no test for this and it would be good to see if we can reproduce the same connection refused error.

Guida contributor

Direzione di ricerca
Indaga sull'errore di connessione rifiutata segnalato nell'issue #1302. Rivedi i file di test esistenti nel repository, in particolare quelli nella directory 'test', per individuare pattern su come scrivere test di stress. Scrivi un test che istanzia e addestra modelli AutoSklearn in un ciclo (ad esempio, 400 iterazioni) per verificare se l'errore si riproduce. Presta attenzione alla pulizia delle risorse tra un'iterazione e l'altra.
Tech stack
python
Dominio
machine learning
Tipo issue
Test
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
3-5 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Abbastanza chiara
Prerequisiti
Nessuno
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
70