reworkd/AgentGPT

✨ Investigate the best similarity score threshold to remove duplicate tasks

Open

#729 aperta il 6 giu 2023

Vedi su GitHub
 (0 commenti) (0 reazioni) (0 assegnatari)TypeScript (9446 fork)batch import
enhancementhelp wanted

Metriche repository

Star
 (34.594 star)
Metriche merge PR
 (Nessuna PR mergiata in 30 g)

Descrizione

When we generate tasks, we filter tasks that have a similarity score that is too close to existing tasks in the vector database

similar_tasks = memory.get_similar_tasks(
    task, score_threshold=0.95  # TODO: Once we use ReAct, revisit
)

This is done with the help of the code above. Arbitrarily, we use 0.95. Even with this, the task may not be related.

On the other hand, there may be very related / duplicated tasks that have a score that is less than this.

This ticket is tasked with investigating what the best value for this threshold is, or to use some other means of calculating similarity for this given case.

Guida contributor

Direzione di ricerca
Esplora diverse soglie di similarità e valutale su un set di duplicati noti. Considera l'uso di una soglia dinamica basata sugli embedding delle attività.
Tech stack
python
Dominio
aibackenddatabase
Tipo issue
Ricerca
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Mezza giornata
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Nuova
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
Pythonsimilarity metrics
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
70