lensacom/sparkit-learn

[RFC] Integrate with numba / parakeet

Open

#26 ouverte le 11 juin 2015

Voir sur GitHub
 (0 commentaires) (0 réactions) (0 assignés)Python (255 forks)batch import
enhancementhelp wantedrfc

Métriques du dépôt

Stars
 (1 144 stars)
Métriques de merge PR
 (Aucune PR mergée en 30 j)

Description

Execution time could benefit from an optimizer like numba.

From numba's documentation: "Numba works by generating optimized machine code using the LLVM compiler infrastructure at import time, runtime, or statically (using the included pycc tool). Numba supports compilation of Python to run on either CPU or GPU hardware, and is designed to integrate with the Python scientific software stack."

Guide contributeur

Direction de recherche
Étudiez la base de code de sparkit learn pour identifier les goulots d'étranglement de performance, en particulier dans les fonctions de calcul de base comme parallel predict ou fit. Consultez la documentation et les exemples de numba pour l'intégration avec numpy et scikit learn. Proposez des fonctions spécifiques à accélérer avec numba et fournissez des comparaisons de benchmark pour démontrer les améliorations.
Stack technique
pythonscikit learnsparknumpy
Domaine
performancedatamachine learning
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
4
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
Plus d'une semaine
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Ancienne
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Peu claire
Prérequis
numba basicsPython and numpyPySparkscikit learn
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
10