automl/auto-sklearn

Avoid costly re-building of pipelines

Open

#443 aperta il 21 mar 2018

Vedi su GitHub
 (3 commenti) (0 reazioni) (0 assegnatari)Python (1265 fork)batch import
Good first issueenhancement

Metriche repository

Star
 (7270 star)
Metriche merge PR
 (Nessuna PR mergiata in 30 g)

Descrizione

Currently, SMAC suggests hyperparameter configurations which are independent of the dataset size. For example, the hyperparameter classifier:max_features which is specified between zero and one is transformed according to max_features = int(n_features ** classifier:max_features). Assuming the dataset in question has only 10 features, SMAC does not know that most values of the tuned hyperparameter map to the same hyperparameter applied to the actual model. Therefore, one needs to track the 'actual' hyperparameters after transformation and check whether they are re-used, and return a cached function value to SMAC if done so.

Initial experiments suggest that 1-2% of the overall runs are actually re-optimizations.

Guida contributor

Direzione di ricerca
Investigare come vengono attualmente calcolati gli iperparametri trasformati e implementare un meccanismo di cache per riutilizzare i risultati di valutazione precedenti quando i valori effettivi degli iperparametri sono identici.
Tech stack
python
Dominio
machine learningai
Tipo issue
Performance
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
Pythonauto sklearn
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
40