microsoft/nni

Does ProxylessNas implementation really support optimizing inference latency?

Open

#3 113 ouverte le 22 nov. 2020

Voir sur GitHub
 (1 commentaire) (0 réactions) (1 assigné)Python (1 830 forks)batch import
NAShelp wantednew featureuser raised

Métriques du dépôt

Stars
 (13 504 stars)
Métriques de merge PR
 (Aucune PR mergée en 30 j)

Description

Environment:

  • NNI version: v1.9 (including current master)
  • NNI mode (local|remote|pai):
  • Client OS:
  • Server OS (for remote mode only):
  • Python version:
  • PyTorch/TensorFlow version:
  • Is conda/virtualenv/venv used?:
  • Is running in Docker?:

Log message:

  • nnimanager.log:
  • dispatcher.log:
  • nnictl stdout and stderr:

What issue meet, what's expected?:

The most important feature of ProxylessNas is that it can balance deployment latency and accuracy with simple regularization parameters. But this feature is clearly missing in nni. I only found loss = criterion(outputs, labels) and loss.backward() where the criterion is just a cross-entropy loss and only applicable for image classification.

Would nni team consider adding this feature? If not, would you mind I writing this feature and pulling a request?

How to reproduce it?:

Additional information:

Guide contributeur

Direction de recherche
Étudiez comment intégrer la régularisation de latence dans la fonction de perte de ProxylessNAS. Cela implique de définir un modèle de prédiction de latence ou une table de correspondance, et d'ajouter un terme de latence à la perte. L'implémentation actuelle n'utilise que la perte d'entropie croisée. Vous devez modifier la boucle d'entraînement pour calculer la pénalité de latence basée sur les poids de l'architecture et la rétropropager.
Stack technique
pythonpytorch
Domaine
machine learning
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-2 jours
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Plutôt claire
Prérequis
PythonPyTorchNeural Architecture Search basics
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
40