lmcinnes/umap

Create a benchmark to track speed improvements / regressions

Open

#293 ouverte le 11 sept. 2019

Voir sur GitHub
 (8 commentaires) (0 réactions) (0 assignés)Python (751 forks)batch import
help wanted

Métriques du dépôt

Stars
 (6 478 stars)
Métriques de merge PR
 (Merge moyen 12h 3m) (15 PRs mergées en 30 j)

Description

Considering a lot of time goes into optimizing the speed of UMAP it seems necessary to have some kind of bechmark/suite to evaluate performance.

EDIT: A collection of useful links to get started: Tracking System Capabilities: https://github.com/giampaolo/psutil Datasets: https://www.tensorflow.org/datasets Benchmarking: https://pypi.org/project/pyperf/

Guide contributeur

Direction de recherche
Étudiez comment mettre en place une suite de benchmarks pour UMAP en utilisant pyperf (https://pypi.org/project/pyperf/). Envisagez d'utiliser les jeux de données TensorFlow (https://www.tensorflow.org/datasets) pour des jeux de données standardisés et psutil (https://github.com/giampaolo/psutil) pour suivre les capacités du système. Examinez la base de code existante pour identifier les zones clés sensibles aux performances (par exemple, la recherche des plus proches voisins, les routines d'optimisation) et concevez des benchmarks qui mesurent les améliorations ou les régressions de vitesse dans ces composants.
Stack technique
python
Domaine
performancedatabackend
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-2 jours
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Ancienne
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Plutôt claire
Prérequis
Pythonbenchmarkingperformance testing
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
60