Run init evals on CI

未关闭

#290 创建于 2026年2月24日 0 条评论 0 个 reaction 已指派 0 人在 GitHub 查看

还没有人认领这个 Issue。

评估

难度: 4/5
预计耗时: 3-5 天
新手友好度: 35/100

Issue 类型: 功能
描述清晰度: 基本清楚
活跃度: 停滞
技术栈: github-actions
领域: ci-cd, devops, testing-qa

调研方向

首先检查 test/init-eval/ 和提交 d5d0b22 中的先前工作流，然后确定如何向 CI 提供 Mastra 服务器。添加 .github/workflows/init-eval.yml，其中包含所要求的触发器、环境密钥、并发设置和六平台矩阵；当 eval 套件在 CI 中成功运行时即表示完成。

由索引模型根据 Issue 内容生成。

描述

Summary

Set up a CI workflow to run the test/init-eval/ eval suite automatically (on PRs and/or on a schedule).

Context

The eval tests exercise sentry init against real project templates and use an LLM judge to score correctness. They currently only run locally because they require a running Mastra API server.

The Mastra agent lives in https://github.com/getsentry/cli-init-api/.

Requirements

Mastra server: Either deploy a persistent dev instance or spin one up as a service container in the workflow (pull from getsentry/cli-init-api).
GitHub environment: Create an init-eval environment with secrets:
- MASTRA_API_URL — URL of the Mastra server
- OPENAI_API_KEY — for the LLM judge
Workflow: Add .github/workflows/init-eval.yml with push/pull_request/workflow_dispatch triggers. A previous version existed but was removed in d5d0b22 — can be used as a starting point.
Concurrency: Use a concurrency group to cancel in-progress runs on new pushes.
Matrix: Run each platform (express, nextjs, python-fastapi, python-flask, react-vite, sveltekit) as a separate matrix job with fail-fast: false.

Open questions

Should the Mastra server be a persistent deployment (e.g. Cloudflare Worker) or spun up per-run?
Should this run on every PR or only on a schedule / manual trigger to save costs?

主要语言: TypeScript
星标: 121
派生: 14
平均合并: 23 小时 54 分钟
30 天内合并 PR: 103

贡献指南

这个仓库没有索引到贡献指南

从这里开始

先读完整个 Issue，再读项目的贡献指南。
在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
Fork 仓库，在一个分支上完成修改。
提交 Pull Request，并在描述里引用这个 Issue 编号。

getsentry/cli 的其他 Issue

Debug file upload output shows IDs instead of slugs 未关闭

难度 2/5 1-3 小时新手友好度 68/100

getsentry/cli#1582 · 2026年9月14日创建
Simplify top-level help for human users 未关闭

难度 3/5 1-2 天新手友好度 68/100

getsentry/cli#1583 · 2026年9月14日创建
Debug file uploads provide no progress feedback 未关闭

难度 3/5 1-2 天新手友好度 65/100

getsentry/cli#1581 · 2026年9月14日创建
Env org-auth token host claim ignored when picking request base URL 未关闭

bug jared

getsentry/cli#1568 · 2 个 reaction · 已指派 1 人 · 2026年9月9日创建
log view never finds any log ID — always fails 未关闭

jared

难度 4/5 3-5 天新手友好度 52/100

getsentry/cli#1565 · 1 条评论 · 1 个 reaction · 2026年9月9日创建

查看 getsentry/cli 的全部 Issue

相似的 Issue

Ajv defaults: non-standard "format": "json" in third-party schemas (e.g. Notion) warns twice per property — register it like #2601 未关闭

难度 2/5 1-3 小时新手友好度 70/100

modelcontextprotocol/typescript-sdk#2854 · 2026年9月24日创建
[Bug]: ctx_search rejects singular 'query' param despite schema declaring it valid 未关闭

难度 2/5 1-3 小时新手友好度 75/100

mksglu/context-mode#1200 · 2026年9月24日创建
[chore]: test(search): Migrate ResultItemTitle unit tests to TypeScript 未关闭

难度 2/5 1-3 小时新手友好度 75/100

jaegertracing/jaeger-ui#4506 · 2026年9月24日创建
[BUG] "$250 credit for cloud sessions" gift icon is unclickable 未关闭

area:desktop area:ui bug platform:macos

难度 2/5 1-3 小时新手友好度 75/100

anthropics/claude-code#96687 · 2026年9月24日创建
[GOOD FIRST ISSUE]: Clean Up Frontend Authentication Page & Context 未关闭

good first issue

难度 1/5 1 小时以内新手友好度 95/100

AOSSIE-Org/DebateAI#582 · 2 条评论 · 2026年9月24日创建

更多 TypeScript Issue