lance-format/lance

GPU-enabled index training

Open

#1 080 ouverte le 20 juil. 2023

Voir sur GitHub
 (1 commentaire) (0 réactions) (0 assignés)Rust (695 forks)github user discovery
A-pythonPyTorchgood first issue

Métriques du dépôt

Stars
 (6 582 stars)
Métriques de merge PR
 (Merge moyen 6j 1h) (219 PRs mergées en 30 j)

Description

Currently the index training time is dominated by kmeans training, which can be sped up significantly via hardware acceleration.

Recently we added an API to take externally trained IVF centroids. So we could have an optional feature where the centroids are trained using pytorch or rapids then set the centroids explicitly.

Examples:

https://github.com/lancedb/lance/blob/main/python/python/lance/dataset.py#L481

Guide contributeur

Direction de recherche
Explorez l'intégration de PyTorch ou RAPIDS pour l'entraînement kmeans accéléré par GPU et utilisez l'API de centroïdes entraînés en externe dans Lance.
Stack technique
rustpythonpytorch
Domaine
backendmachine learningai
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-2 jours
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
PythonRustGPU
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
30