lance-format/lance

GPU-enabled index training

Open

#1080 aperta il 20 lug 2023

Vedi su GitHub
 (1 commento) (0 reazioni) (0 assegnatari)Rust (695 fork)github user discovery
A-pythonPyTorchgood first issue

Metriche repository

Star
 (6582 star)
Metriche merge PR
 (Merge medio 6g 1h) (219 PR mergiate in 30 g)

Descrizione

Currently the index training time is dominated by kmeans training, which can be sped up significantly via hardware acceleration.

Recently we added an API to take externally trained IVF centroids. So we could have an optional feature where the centroids are trained using pytorch or rapids then set the centroids explicitly.

Examples:

https://github.com/lancedb/lance/blob/main/python/python/lance/dataset.py#L481

Guida contributor

Direzione di ricerca
Esplora come integrare PyTorch o RAPIDS per l'addestramento kmeans accelerato da GPU e utilizza l'API dei centroidi addestrati esternamente in Lance.
Tech stack
rustpythonpytorch
Dominio
backendmachine learningai
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
PythonRustGPU
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
30