Optional deterministic CI regression check (record/replay)?
まだ誰も着手していません。
評価
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 初心者へのやさしさ
- 35/100
- issue の種類
- 機能追加
- 明瞭さ
- おおむね明確
- 活発さ
- 停滞
- 技術スタック
- github-actions, python
- 領域
- ci-cd, testing-qa
調査の方向性
既存のエントリポイント、テストファイル、CI 設定のいずれも指定されていません。まず、リポジトリの agent/example entrypoint と現在の GitHub Actions workflows を見つけ、次にオプションの replay suite を接続できる場所を判断してください。完了条件には、提案された evals/runledger/ files、baselines/runledger-demo.json、および live tool calls なしで replay mismatch 時に失敗するオプションの workflow が含まれます。
索引モデルが issue の本文から書いたものです。
説明
Hi! I maintain RunLedger (https://github.com/runledger/Runledger), a small CLI for deterministic CI regression checks for tool-using agents (record once, replay in CI).
Would you be open to a small, optional PR that adds:
evals/runledger/(suite + one case + schema + cassette)baselines/runledger-demo.json- an optional GitHub Actions workflow to run the CI check (manual or on PR, depending on what you prefer)
It's small and removable, and I'm happy to close it if you don't want it.
The goal is to catch agent/tool regressions in CI without live tool calls (record once, replay in CI; fail on mismatch).
If you're interested, what is the best existing agent/example entrypoint in this repo to wire the suite to?
- 主要言語
- Python
- スター
- 52
- フォーク
- 12
- PR マージ指標
- 30日以内にマージされた PR はありません
環境構築
- Dockerfile・Docker Compose ファイルなし
- プルリクエストのテンプレートあり
- コントリビューションガイドなし
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
Lightning-AI/litAI のほかの issue
-
難易度 5/5 1週間以上 初心者へのやさしさ 35/100
Lightning-AI/litAI#88 ·
-
Setting Temperature対応中かも @namantiwari2002 が 109 日前に担当しました。 オープンenhancement help wanted
難易度 3/5 1〜2日 初心者へのやさしさ 48/100
Lightning-AI/litAI#75 · コメント 2 件 ·
Lightning-AI/litAI の issue をすべて見る
似ている issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 65/100
NVIDIA/flare-local-inference#90 ·
メンテナーはふだん 1 日以内に返信
-
area/streaming comp/gateway P2 platform/telegram type/bug
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
NousResearch/hermes-agent#144897 ·
メンテナーはふだん 1 日以内に返信
-
request-theme
難易度 1/5 1時間未満 初心者へのやさしさ 66/100
LizardByte/ThemerrDB#9575 ·
メンテナーはふだん 1 日以内に返信
-
author-page correction
難易度 2/5 1〜3時間 初心者へのやさしさ 62/100
acl-org/acl-anthology#10599 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
zilliztech/memsearch#818 ·
メンテナーはふだん 1 日以内に返信