microsoft/nni

Does ProxylessNas implementation really support optimizing inference latency?

Open

#3113 aperta il 22 nov 2020

Vedi su GitHub
 (1 commento) (0 reazioni) (1 assegnatario)Python (1830 fork)batch import
NAShelp wantednew featureuser raised

Metriche repository

Star
 (13.504 star)
Metriche merge PR
 (Nessuna PR mergiata in 30 g)

Descrizione

Environment:

  • NNI version: v1.9 (including current master)
  • NNI mode (local|remote|pai):
  • Client OS:
  • Server OS (for remote mode only):
  • Python version:
  • PyTorch/TensorFlow version:
  • Is conda/virtualenv/venv used?:
  • Is running in Docker?:

Log message:

  • nnimanager.log:
  • dispatcher.log:
  • nnictl stdout and stderr:

What issue meet, what's expected?:

The most important feature of ProxylessNas is that it can balance deployment latency and accuracy with simple regularization parameters. But this feature is clearly missing in nni. I only found loss = criterion(outputs, labels) and loss.backward() where the criterion is just a cross-entropy loss and only applicable for image classification.

Would nni team consider adding this feature? If not, would you mind I writing this feature and pulling a request?

How to reproduce it?:

Additional information:

Guida contributor

Direzione di ricerca
Investiga come incorporare la regolarizzazione della latenza nella funzione di perdita di ProxylessNAS. Ciò comporta la definizione di un modello di previsione della latenza o di una tabella di ricerca e l'aggiunta di un termine di latenza alla perdita. L'implementazione attuale utilizza solo la perdita di entropia incrociata. Devi modificare il ciclo di addestramento per calcolare la penalità di latenza basata sui pesi dell'architettura e propagare all'indietro attraverso di essa.
Tech stack
pythonpytorch
Dominio
machine learning
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Abbastanza chiara
Prerequisiti
PythonPyTorchNeural Architecture Search basics
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
40