Hacktoberfest 2026: le issue che i maintainer hanno segnato per ottobre, aperte e adatte ai principianti. Sfoglia le issue Hacktoberfest

Agent-pipeline e2e is the only coverage of the skill chain and CI never runs it

Aperta
  • Qualcosa non va?
#397 1 commento 0 reazioni 0 assegnatari Vedi su GitHub

I maintainer di solito rispondono entro 1 giorno

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
5/5
Tempo stimato
Più di una settimana
Idoneità per principianti
35/100
Tipo di issue
Funzionalità
Chiarezza
Abbastanza chiara
Stato di attività
Attiva
Stack tecnologico
python
Ambito
testing

Direzione di ricerca

Start with tests/e2e/test_add_flush_agent_pipeline_e2e.py and the live_llm test markers, then inspect the CI configuration to confirm which tests run automatically and what credentials are available. Decide whether to add a scheduled credentialed run, enable recorded-fixture replay, or document a manual release check; also audit whether other live_llm tests are sole coverage of their paths. Done means the coverage gap and chosen approach are addressed.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

enhancement

PR #393 fixed tests/e2e/test_add_flush_agent_pipeline_e2e.py so it actually exercises the agent-skill chain — before that fix it structurally could not, and that is why a defect making the chain fail 4/4 reached a release.

The original failure had two layers:

  1. tests/conftest.py:68-88 is an autouse fixture forcing EmbeddingCapability(provider=None) for every test (hermeticity — correct in itself). trigger_skill_clustering and extract_agent_skill both body-guard on get_embedding_capability().available, so both returned early. Measured log counts from an actual run: agent_case_extracted=5, skill_cluster_updated=0, agent_skills_extracted=0, strategy_gated_off_embedding_unavailable=10.
  2. Its three skill assertions were assert len(...) >= 0 — always true. The inline comment rationalized this as LLM-dependent flakiness; the count was in fact necessarily zero.

#393 opts the test in to a real embedding capability and gives it a meaningful floor plus a dead-letter assertion. But it keeps the slow + live_llm markers, and CI injects no provider credentials — so this remains the only end-to-end coverage of the chain, and it still never runs automatically.

Worth deciding how to close that gap. Options: a scheduled (nightly / weekly) job with credentials in secrets, running just the live_llm set; a recorded-fixture replay so the chain can be exercised without credentials (the examples/langfuse trace-replay work may be reusable); or accept it and add a release-checklist step that runs it manually.

Related: the same class of gap likely applies to other live_llm tests — worth auditing which of them, if any, are the sole coverage of their path.

Lingua principale
Python
Stelle
13.3k
Fork
926
Merge medio
17h 8m
PR unite (30g)
32

Preparare l'ambiente

Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di EverMind-AI/EverOS

Tutte le issue di EverMind-AI/EverOS

Issue simili

Altre issue su Python

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.