Add benchmarks for machine learning application

Ouverte
#189 4 commentaires 5 réactions 0 personnes assignées Voir sur GitHub

Personne n'a encore pris cette issue.

Évaluation

Difficulté
5/5
Temps estimé
Plus d'une semaine
Accessibilité débutants
25/100
Type d'issue
Fonctionnalité
Clarté
À clarifier
Activité
À l'abandon
Stack technique
numpy, python, pytorch, scikit-learn, tensorflow
Domaine
machine-learning, performance

Piste de recherche

L’issue ne nomme aucun fichier, test ou point d’entrée et ne fournit pas d’implémentations concrètes de benchmarks. Commencez par examiner les conventions de benchmark existantes du dépôt, puis clarifiez les algorithmes et les implémentations concernés ; pour considérer la tâche comme terminée, il faudrait convenir d’un ensemble de benchmarks d’entraînement et d’inférence correspondants.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Description

Today, Machine learning applications are important use-cases of Python.
I haven't prepared concrete benchmark implementations yet, but I would like to suggest guidelines for machine learning benchmarks.

A. Each benchmark should provide all of the following implementations and shows the same result.

  • Pure Python-based implementation (might be not easy). Sympy based implementation
  • Numpy-based implementation.
  • (optional) Famous frameworks like scikit-learn, TensorFlow, or PyTorch-based implementation.

B. Following algorithm-based benchmark should provide training and inference benchmark.

  • Regression algorithm
  • Decision tree algorithm
  • Clustering algorithm
  • Nearest neighborhood algorithm
  • Matrix factorization
  • ... (Please suggest!)

C. Deep learning-based or neural network-based benchmarks only provide inference benchmark with fixed weights since training benchmark needs GPU resources but using GPU resource is out of the topic.

  • Simple neural network
  • ... (Please suggest!)
Langage dominant
Python
Étoiles
1k
Forks
203
Merge moyen
1 h 20 min
PR mergées (30 j)
2

Guide de contribution

Aucun guide de contribution indexé pour ce dépôt

Par où commencer

  1. Lisez l'issue en entier, puis le guide de contribution du projet.
  2. Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
  3. Forkez le dépôt et travaillez sur une branche.
  4. Ouvrez une pull request qui référence le numéro de l'issue.

Autres issues de python/pyperformance

Toutes les issues de python/pyperformance

Issues similaires

Plus d'issues Python

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.