reworkd/AgentGPT

✨ Investigate the best similarity score threshold to remove duplicate tasks

Open

#729 ouverte le 6 juin 2023

Voir sur GitHub
 (0 commentaires) (0 réactions) (0 assignés)TypeScript (9 446 forks)batch import
enhancementhelp wanted

Métriques du dépôt

Stars
 (34 594 stars)
Métriques de merge PR
 (Aucune PR mergée en 30 j)

Description

When we generate tasks, we filter tasks that have a similarity score that is too close to existing tasks in the vector database

similar_tasks = memory.get_similar_tasks(
    task, score_threshold=0.95  # TODO: Once we use ReAct, revisit
)

This is done with the help of the code above. Arbitrarily, we use 0.95. Even with this, the task may not be related.

On the other hand, there may be very related / duplicated tasks that have a score that is less than this.

This ticket is tasked with investigating what the best value for this threshold is, or to use some other means of calculating similarity for this given case.

Guide contributeur

Direction de recherche
Explorez différents seuils de similarite et evaluez les sur un ensemble de doublons connus. Envisagez d'utiliser un seuil dynamique base sur les embeddings de taches.
Stack technique
python
Domaine
aibackenddatabase
Type d'issue
Recherche
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
2
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
Une demi journée
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Récente
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
Pythonsimilarity metrics
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
70