Storia-AI/sage

Feature request: Implement reciprocal rank fusion for combining multiple retriever outputs

Aberta

#55 aberto em 4 de out. de 2024

Ver no GitHubGuia do colaborador
 (5 comentários) (0 reação) (1 responsável)Python (116 forks)auto 404
good first issuehacktoberfest🔥 difficulty: 1

Métricas do repositório

Stars
 (1.267 estrelas)
Métricas de merge de PR
 (Métricas PR pendentes)

Description

Right now when we are combining the outputs of a bm25 encoder and a dense retriever we simply do a weighted average of their scores. It's more standard to use reciprocal rank fusion methods to combine multiple scores.

We should implement this alternative hybrid scoring method

Guia do colaborador

Direção de pesquisa
Pesquise o algoritmo de fusão de classificação recíproca (RRF), entenda como ele combina listas classificadas de diferentes recuperadores e implemente o como um método alternativo de pontuação híbrida em vez da média ponderada existente. Consulte a documentação da Microsoft vinculada e teste com dados de amostra.
Pilha de tecnologia
python
Domain
backend
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
2
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
Meio dia
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
PythonInformation Retrieval basics
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
65