Orphaned FTS index generations accumulate in episode.lance/_indices/ across restarts

Abierto
#558 1 comentario 0 reacciones 0 asignados Ver en GitHub

Los mantenedores suelen responder en 1 día

Nadie ha tomado este issue todavía.

Evaluación

Dificultad
4/5
Tiempo estimado
3-5 días
Aptitud para principiantes
25/100
Tipo de issue
Error
Claridad
Bastante claro
Estado de actividad
Activo
Stack tecnológico
python
Área
databases

Línea de trabajo

The bug sits in how the episode.lance index directory is managed across rebuilds, so start with the everos cascade rebuild path and the startup sweep that triggers it. Check where the old index generations get dropped or replaced, and whether optimize/cleanup is called afterwards. Done means only the live generation remains in _indices/ after a rebuild, confirmed by listing that directory before and after.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

everos 1.5.1, lancedb 0.34.0 (pinned), Python 3.12 via uv tool install everos, Linux x86_64.

Observed

After a handful of server restarts plus an everos cascade rebuild, episode.lance/_indices/ accumulates multiple index-UUID directories (6 observed) while table.list_indices() reports a single episode_tokens_idx. Optimize/prune does not reclaim the stale generations, so the index directory grows with each rebuild cycle.

Repro

  1. Start/stop the server a few times (everos server start, systemd restart, etc.)
  2. Run everos cascade rebuild (or let the startup sweep rebuild)
  3. ls ~/.everos/.index/lancedb/episode.lance/_indices/ → one directory per historical generation

Expected

Dropped/replaced index generations are garbage-collected after rebuild/optimize, leaving only the live generation in _indices/.

Notes

Search correctness was never affected in our testing (BM25 via the API resolves the live index fine from fresh connections); this is disk-hygiene / index-UUID-count growth only. Possibly related to the index-merge gap tracked in lancedb/lancedb#2193, lancedb/lancedb#3177 and lance-format/lance#6711.

Lenguaje dominante
Python
Estrellas
13.3k
Forks
926
Merge medio
19 h 14 min
PR fusionados (30 d)
27

Preparar el entorno

Este proyecto no incluye contenedor de desarrollo, Dockerfile ni guía de contribución, así que la configuración corre por tu cuenta: empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de EverMind-AI/EverOS

Todos los issues de EverMind-AI/EverOS

Issues similares

Más issues de Python

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.