lance-format/lance

GPU-enabled index training

Open

#1.080 geöffnet am 20. Juli 2023

Auf GitHub ansehen
 (1 Kommentar) (0 Reaktionen) (0 zugewiesene Personen)Rust (695 Forks)github user discovery
A-pythonPyTorchgood first issue

Repository-Metriken

Stars
 (6.582 Stars)
PR-Merge-Metriken
 (Durchschn. Merge 6T 1h) (219 gemergte PRs in 30 T)

Beschreibung

Currently the index training time is dominated by kmeans training, which can be sped up significantly via hardware acceleration.

Recently we added an API to take externally trained IVF centroids. So we could have an optional feature where the centroids are trained using pytorch or rapids then set the centroids explicitly.

Examples:

https://github.com/lancedb/lance/blob/main/python/python/lance/dataset.py#L481

Contributor Guide

Research-Richtung
Erkunde die Integration von PyTorch oder RAPIDS für GPU beschleunigtes kmeans Training und nutze die API für extern trainierte Zentroide in Lance.
Tech Stack
rustpythonpytorch
Domain
backendmachine learningai
Issue Type
Funktion
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-2 Tage
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
PythonRustGPU
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
30