Agent-pipeline e2e is the only coverage of the skill chain and CI never runs it
メンテナーはふだん 1 日以内に返信
まだ誰も着手していません。
評価
調査の方向性
Start with tests/e2e/test_add_flush_agent_pipeline_e2e.py and the live_llm test markers, then inspect the CI configuration to confirm which tests run automatically and what credentials are available. Decide whether to add a scheduled credentialed run, enable recorded-fixture replay, or document a manual release check; also audit whether other live_llm tests are sole coverage of their paths. Done means the coverage gap and chosen approach are addressed.
索引モデルが issue の本文から書いたものです。
説明
PR #393 fixed tests/e2e/test_add_flush_agent_pipeline_e2e.py so it actually exercises the agent-skill chain — before that fix it structurally could not, and that is why a defect making the chain fail 4/4 reached a release.
The original failure had two layers:
tests/conftest.py:68-88is anautousefixture forcingEmbeddingCapability(provider=None)for every test (hermeticity — correct in itself).trigger_skill_clusteringandextract_agent_skillboth body-guard onget_embedding_capability().available, so both returned early. Measured log counts from an actual run:agent_case_extracted=5,skill_cluster_updated=0,agent_skills_extracted=0,strategy_gated_off_embedding_unavailable=10.- Its three skill assertions were
assert len(...) >= 0— always true. The inline comment rationalized this as LLM-dependent flakiness; the count was in fact necessarily zero.
#393 opts the test in to a real embedding capability and gives it a meaningful floor plus a dead-letter assertion. But it keeps the slow + live_llm markers, and CI injects no provider credentials — so this remains the only end-to-end coverage of the chain, and it still never runs automatically.
Worth deciding how to close that gap. Options: a scheduled (nightly / weekly) job with credentials in secrets, running just the live_llm set; a recorded-fixture replay so the chain can be exercised without credentials (the examples/langfuse trace-replay work may be reusable); or accept it and add a release-checklist step that runs it manually.
Related: the same class of gap likely applies to other live_llm tests — worth auditing which of them, if any, are the sole coverage of their path.
- 主要言語
- Python
- スター
- 13.3k
- フォーク
- 926
- 平均マージ
- 17時間 14分
- マージ済み PR（30日）
- 40
環境構築
このプロジェクトには開発コンテナ、Dockerfile、コントリビューションガイドがありません。まず README を読み、一般的な手順ははじめてのコントリビューションガイドを参照してください。
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
EverMind-AI/EverOS のほかの issue
-
難易度 2/5 半日 初心者へのやさしさ 62/100
EverMind-AI/EverOS#414 ·
メンテナーはふだん 1 日以内に返信
-
[Bug]: 同一 EverOS 账号下，不同 AI 客户端的记忆无法共享（user 隔离问题） / Cannot share memory between two AI clients under the same EverOS account (user isolation)対応中かも @dani1005 が 1 日前に担当しました。 オープンbug
難易度 4/5 1〜2日 初心者へのやさしさ 48/100
EverMind-AI/EverOS#528 · コメント 1 件 · 担当者 1 名 ·
メンテナーはふだん 1 日以内に返信
-
難易度 5/5 1週間以上 初心者へのやさしさ 35/100
EverMind-AI/EverOS#516 ·
メンテナーはふだん 1 日以内に返信
-
[Bug]: add/flush returns 500 every time when an extraction reply quotes code with an unmatched `}` (everalgo brace-counting JSON extractor)対応中かも @Kendrick-Song が 3 日前に担当しました。 オープン
難易度 4/5 3〜5日 初心者へのやさしさ 48/100
EverMind-AI/EverOS#515 · 担当者 1 名 ·
メンテナーはふだん 1 日以内に返信
-
flush returns 500 when SQLite write hits the busy timeout対応中かも @chuiwenwei が 5 日前に担当しました。 オープン
難易度 3/5 1〜2日 初心者へのやさしさ 55/100
EverMind-AI/EverOS#498 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
EverMind-AI/EverOS の issue をすべて見る
似ている issue
-
style: article/section 📝 system: cloud.rc ☁️ system: security 🔐
難易度 2/5 1〜3時間 初心者へのやさしさ 65/100
uabrc/uabrc.github.io#1262 ·
-
documentation
難易度 2/5 1〜3時間 初心者へのやさしさ 70/100
NCAR/miles-credit#526 ·
-
documentation
難易度 1/5 1〜3時間 初心者へのやさしさ 76/100
conda/conda-lock#957 ·
メンテナーはふだん 1 日以内に返信
-
Type: Bug
難易度 2/5 1〜3時間 初心者へのやさしさ 65/100
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100
aws-samples/sample-per-model-bedrock#464 ·
メンテナーはふだん 1 日以内に返信