Run init evals on CI
まだ誰も着手していません。
評価
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 初心者へのやさしさ
- 35/100
- issue の種類
- 機能追加
- 明瞭さ
- おおむね明確
- 活発さ
- 停滞
- 技術スタック
- github-actions
- 領域
- ci-cd, devops, testing-qa
調査の方向性
まず test/init-eval/ と、コミット d5d0b22 における以前のワークフローを確認し、その後 Mastra サーバーを CI にどのように提供するかを決定します。要求されたトリガー、環境シークレット、同時実行設定、6 プラットフォームのマトリックスを含む .github/workflows/init-eval.yml を追加します。CI で eval スイートが正常に実行されれば完了です。
索引モデルが issue の本文から書いたものです。
説明
Summary
Set up a CI workflow to run the test/init-eval/ eval suite automatically (on PRs and/or on a schedule).
Context
The eval tests exercise sentry init against real project templates and use an LLM judge to score correctness. They currently only run locally because they require a running Mastra API server.
The Mastra agent lives in https://github.com/getsentry/cli-init-api/.
Requirements
- Mastra server: Either deploy a persistent dev instance or spin one up as a service container in the workflow (pull from
getsentry/cli-init-api). - GitHub environment: Create an
init-evalenvironment with secrets:MASTRA_API_URL— URL of the Mastra serverOPENAI_API_KEY— for the LLM judge
- Workflow: Add
.github/workflows/init-eval.ymlwithpush/pull_request/workflow_dispatchtriggers. A previous version existed but was removed in d5d0b22 — can be used as a starting point. - Concurrency: Use a concurrency group to cancel in-progress runs on new pushes.
- Matrix: Run each platform (
express,nextjs,python-fastapi,python-flask,react-vite,sveltekit) as a separate matrix job withfail-fast: false.
Open questions
- Should the Mastra server be a persistent deployment (e.g. Cloudflare Worker) or spun up per-run?
- Should this run on every PR or only on a schedule / manual trigger to save costs?
- 主要言語
- TypeScript
- スター
- 121
- フォーク
- 14
- 平均マージ
- 22時間 3分
- マージ済み PR（30日）
- 94
コントリビューションガイド
このリポジトリのコントリビューションガイドは索引されていません
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
getsentry/cli のほかの issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
-
難易度 3/5 1〜2日 初心者へのやさしさ 68/100
-
難易度 3/5 1〜2日 初心者へのやさしさ 65/100
-
bug jared
-
jared
難易度 4/5 3〜5日 初心者へのやさしさ 52/100
似ている issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
safetrustcr/dApp-SafeTrust#426 ·
-
area:workflow bug ready-for-agent
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
fil-donadoni/tolaria#4409 ·
-
難易度 2/5 1〜3時間 初心者へのやさしさ 70/100
Fission-AI/OpenSpec#1960 ·
-
Add dependabot オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 70/100
-
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
corsairdev/corsair#1764 ·