feat(rag): hybrid BM25 + FAISS retrieval with reciprocal-rank fusion

Abierto
#802 0 comentarios 0 reacciones 1 asignado Ver en GitHub

Los mantenedores suelen responder en 1 día

@DerekRoberts ya está trabajando en esto.

Desde el 24/10/2026.

Evaluación

Este issue todavía no se ha evaluado.

Descripción

enhancement

Problem

Steward questions often name exact references ("s. 21", "Article 32.04", "Schedule 1") or defined terms. A small embedding model (bge-small) handles these poorly, while BM25 keyword search handles them well. The corpus is small (about 3k chunks), so BM25 in memory needs no new service.

Proposed change

Run BM25 (e.g. rank_bm25) over the existing chunk text and combine its results with FAISS candidates using reciprocal-rank fusion, before the existing tier re-scoring in search_index_batch. Keep FAISS.

Dependencies

  • Blocked by #801. The eval from that issue decides this one. If the eval shows no gain, close this unmerged.

Note for #699

When BC Laws PDF ingestion is built, keep section and part numbers in the chunk header prefix ([Source - Header]). That makes keyword matching on references work better at no extra cost.

Acceptance criteria

  • Hybrid retrieval raises the eval's hit rate on section-number and defined-term questions, with no drop overall. Otherwise this is closed unmerged.
Lenguaje dominante
Python
Estrellas
2
Forks
1
Merge medio
4 h 16 min
PR fusionados (30 d)
38

Preparar el entorno

  • Incluye un Dockerfile o un archivo de Docker Compose
  • Sin plantilla de pull request
  • Sin guía de contribución

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de MinionTech/vexilon

Todos los issues de MinionTech/vexilon

Issues similares

Más issues de Python

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.