reworkd/AgentGPT

✨ Investigate the best similarity score threshold to remove duplicate tasks

Open

#729 aberto em 6 de jun. de 2023

Ver no GitHub
 (0 comments) (0 reactions) (0 assignees)TypeScript (9.446 forks)batch import
enhancementhelp wanted

Métricas do repositório

Stars
 (34.594 stars)
Métricas de merge de PR
 (Nenhuma PRs mesclada em 30d)

Description

When we generate tasks, we filter tasks that have a similarity score that is too close to existing tasks in the vector database

similar_tasks = memory.get_similar_tasks(
    task, score_threshold=0.95  # TODO: Once we use ReAct, revisit
)

This is done with the help of the code above. Arbitrarily, we use 0.95. Even with this, the task may not be related.

On the other hand, there may be very related / duplicated tasks that have a score that is less than this.

This ticket is tasked with investigating what the best value for this threshold is, or to use some other means of calculating similarity for this given case.

Guia do colaborador

Direção de pesquisa
Explore diferentes limites de similaridade e avalie em um conjunto de duplicatas conhecidas. Considere usar um limite dinâmico com base em embeddings de tarefa.
Pilha de tecnologia
python
Domain
aibackenddatabase
Tipo Issue
Pesquisa
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
2
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
Meio dia
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Recente
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
Pythonsimilarity metrics
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
70