lance-format/lance

Allow users to set a distance threshold to consider two vectors a "very similiar"

Fechada

#875 aberto em 17 de mai. de 2023

Ver no GitHubGuia do colaborador
 (1 comentário) (0 reação) (0 responsável)Rust (695 forks)github user discovery
A-indexA-pythonenhancementgood first issuehelp wanted

Métricas do repositório

Stars
 (6.582 estrelas)
Métricas de merge de PR
 (Mesclagem média 6d 1h) (219 fundiu PRs em 30d)

Description

Problem Statement

For example, I have lots of images that are resized jpgs and gifs -- the hashes are technically different, but the vector l2 distance is tiny then there's deduplicating things like images and watermarked images -- i also want this to be grouped together and to pick just one which basically uses the vector distance again, but with a looser threshold

Guia do colaborador

Direção de pesquisa
Investigue o código do índice vetorial existente para encontrar onde os limiares de distância são usados e adicione um parâmetro configurável para um limiar de 'muito semelhante'.
Pilha de tecnologia
rust
Domain
backenddatabaseai
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-3 horas
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
RustGit
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
55