epic: Declarative Link-Driven Knowledge Base & Granular Incremental Indexing

Aperta
#700 0 commenti 0 reazioni 1 assegnatario Vedi su GitHub

I maintainer di solito rispondono entro 1 giorno

@DerekRoberts ci sta già lavorando.

Dal 21/9/2026.

Valutazione

Questa issue non è ancora stata valutata.

Descrizione

enhancement

Overview

Transition the Agreement Navigator knowledge base from a repository of committed static Markdown files and binary PDFs to a declarative link-driven library (sources.yaml) with granular per-document caching and incremental FAISS re-indexing.

Core Invariants & Goals

  • Gradual & Safe: No committed files deleted without proven 100% substantive parity via shadow audits.
  • Incremental Rebuilds: Document modifications re-embed only the changed files, keeping FAISS re-indexing under <50ms.
  • Network Efficiency: Conditional HTTP requests (ETag / 304 Not Modified) prevent unnecessary downloads during scheduled drift runs.

Child Issues

  • #697: feat(indexing): Implement per-document chunk and embedding caching (.npy) for incremental FAISS builds
  • #698: feat(ingestion): Support conditional HTTP headers (ETag / If-Modified-Since) and 304 skipping in sync_sources.py
  • #699: feat(ingestion): Add PDF extraction strategy and shadow-audit multi-part BCLaws statutes into sources.yaml

Architectural Contract

Documented in app/SPEC.md (Section 6: Forensic Markdown Pipeline & Section 12: Future Roadmap).

Lingua principale
Python
Stelle
2
Fork
1
Merge medio
4h 16m
PR unite (30g)
38

Preparare l'ambiente

  • Include un Dockerfile o un file Docker Compose
  • Nessun modello di pull request
  • Nessuna guida per i contributori

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di MinionTech/vexilon

Tutte le issue di MinionTech/vexilon

Issue simili

Altre issue su Python

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.