lance-format/lance

Allow users to set a distance threshold to consider two vectors a "very similiar"

Chiusa

#875 aperta il 17 mag 2023

Vedi su GitHubGuida contributor
 (1 commento) (0 reazioni) (0 assegnatari)Rust (695 fork)github user discovery
A-indexA-pythonenhancementgood first issuehelp wanted

Metriche repository

Star
 (6582 stelle)
Metriche merge PR
 (Merge medio 6g 1h) (219 PR mergiate in 30 g)

Descrizione

Problem Statement

For example, I have lots of images that are resized jpgs and gifs -- the hashes are technically different, but the vector l2 distance is tiny then there's deduplicating things like images and watermarked images -- i also want this to be grouped together and to pick just one which basically uses the vector distance again, but with a looser threshold

Guida contributor

Direzione di ricerca
Indaga il codice dell'indice vettoriale esistente per trovare dove vengono utilizzate le soglie di distanza e aggiungi un parametro configurabile per una soglia di 'molto simile'.
Tech stack
rust
Dominio
backenddatabaseai
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
RustGit
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
55