lmcinnes/umap

Create a benchmark to track speed improvements / regressions

Open

#293 geöffnet am 11. Sept. 2019

Auf GitHub ansehen
 (8 Kommentare) (0 Reaktionen) (0 zugewiesene Personen)Python (751 Forks)batch import
help wanted

Repository-Metriken

Stars
 (6.478 Stars)
PR-Merge-Metriken
 (Durchschn. Merge 12h 3m) (15 gemergte PRs in 30 T)

Beschreibung

Considering a lot of time goes into optimizing the speed of UMAP it seems necessary to have some kind of bechmark/suite to evaluate performance.

EDIT: A collection of useful links to get started: Tracking System Capabilities: https://github.com/giampaolo/psutil Datasets: https://www.tensorflow.org/datasets Benchmarking: https://pypi.org/project/pyperf/

Contributor Guide

Research-Richtung
Untersuchen Sie, wie eine Benchmark Suite für UMAP mit pyperf (https://pypi.org/project/pyperf/) eingerichtet werden kann. Erwägen Sie die Verwendung von TensorFlow Datensätzen (https://www.tensorflow.org/datasets) für standardisierte Datensätze und psutil (https://github.com/giampaolo/psutil) zur Überwachung der Systemfähigkeiten. Sehen Sie sich die vorhandene Codebasis an, um leistungskritische Bereiche zu identifizieren (z. B. Suche nach nächsten Nachbarn, Optimierungsroutinen), und entwerfen Sie Benchmarks, die Geschwindigkeitsverbesserungen oder rückschritte in diesen Komponenten messen.
Tech Stack
python
Domain
performancedatabackend
Issue Type
Funktion
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-2 Tage
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Veraltet
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Meist klar
Voraussetzungen
Pythonbenchmarkingperformance testing
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
60