lance-format/lance

GPU-enabled index training

Open

#1.080 aberto em 20 de jul. de 2023

Ver no GitHub
 (1 comment) (0 reactions) (0 assignees)Rust (695 forks)github user discovery
A-pythonPyTorchgood first issue

Métricas do repositório

Stars
 (6.582 stars)
Métricas de merge de PR
 (Mesclagem média 6d 1h) (219 fundiu PRs em 30d)

Description

Currently the index training time is dominated by kmeans training, which can be sped up significantly via hardware acceleration.

Recently we added an API to take externally trained IVF centroids. So we could have an optional feature where the centroids are trained using pytorch or rapids then set the centroids explicitly.

Examples:

https://github.com/lancedb/lance/blob/main/python/python/lance/dataset.py#L481

Guia do colaborador

Direção de pesquisa
Explore a integração do PyTorch ou RAPIDS para treinamento kmeans acelerado por GPU e utilize a API de centroides treinados externamente no Lance.
Pilha de tecnologia
rustpythonpytorch
Domain
backendmachine learningai
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-2 dias
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
PythonRustGPU
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
30