microsoft/nni

Framework for Model Selection

Open

#3376 aperta il 9 feb 2021

Vedi su GitHub
 (2 commenti) (0 reazioni) (1 assegnatario)Python (1830 fork)batch import
Framework Supportfeature requesthelp wantednew featureuser raised

Metriche repository

Star
 (13.504 star)
Metriche merge PR
 (Nessuna PR mergiata in 30 g)

Descrizione

What I would you like to be added:

It would be great if NNI had an extension/framework for model selection.

Why is this needed:

Model selection is a very relevant decision for an ML project, arguably more important than hyperparameter tuning.

Without this feature, how does current nni work：

Currently, NNI seems to require you to decide on a model type in advance and then you optimise this model type. For example, you decide to use XGBoost and then you optimise hyperparameters. But you cannot compare / select from all the different possible model types that NNI supports in principle (e.g. models from scikit-learn, Keras, XGBoost etc.). In summary, it seems that NNI currently covers a little bit of feature selection and a lot of hyperparameter tuning; but it does not cover model selection at all.

I could not find any examples where NNI is used for model selection. If I missed something, I'd be thankful for your reply.

Guida contributor

Direzione di ricerca
La richiesta del problema è per un nuovo framework di selezione del modello all'interno di NNI. Per iniziare, rivedere la codebase esistente di NNI per capire come vengono gestiti l'ottimizzazione degli iperparametri e l'addestramento del modello (ad esempio, l'SDK `nni`, le interfacce `tuner` e la configurazione degli esperimenti). Esaminare come sono attualmente integrati diversi tipi di modello come scikit learn, Keras e XGBoost. Controllare il branch dell'assegnatario o i thread aperti per eventuali lavori preliminari. La progettazione dovrebbe concentrarsi su un'API che consenta agli utenti di specificare un insieme di candidati modello e confrontarli automaticamente utilizzando una metrica, potenzialmente sfruttando gli algoritmi di ricerca esistenti. Considerare la lettura della documentazione di NNI sull'architettura generale di tuning e di eventuali richieste di funzionalità correlate o discussioni nel tracker dei problemi.
Tech stack
python
Dominio
machine learning
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
4
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Oltre 1 settimana
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
Python
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
35