Hacktoberfest 2026: los issues que los mantenedores marcaron para octubre, abiertos y aptos para principiantes. Explorar issues de Hacktoberfest

Run init evals on CI

Abierto
#290 0 comentarios 0 reacciones 0 asignados Ver en GitHub

Nadie ha tomado este issue todavía.

Evaluación

Dificultad
4/5
Tiempo estimado
3-5 días
Aptitud para principiantes
35/100
Tipo de issue
Nueva funcionalidad
Claridad
Bastante claro
Estado de actividad
Estancado
Stack tecnológico
github-actions
Área
ci-cd, devops, testing-qa

Línea de trabajo

Empieza revisando test/init-eval/ y el workflow anterior en el commit d5d0b22; después, determina cómo se proporcionará el servidor Mastra a CI. Añade .github/workflows/init-eval.yml con los triggers solicitados, los secretos de entorno, la concurrencia y una matriz de seis plataformas; se considera terminado cuando la suite de eval se ejecuta correctamente en CI.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

Summary

Set up a CI workflow to run the test/init-eval/ eval suite automatically (on PRs and/or on a schedule).

Context

The eval tests exercise sentry init against real project templates and use an LLM judge to score correctness. They currently only run locally because they require a running Mastra API server.

The Mastra agent lives in https://github.com/getsentry/cli-init-api/.

Requirements

  • Mastra server: Either deploy a persistent dev instance or spin one up as a service container in the workflow (pull from getsentry/cli-init-api).
  • GitHub environment: Create an init-eval environment with secrets:
    • MASTRA_API_URL — URL of the Mastra server
    • OPENAI_API_KEY — for the LLM judge
  • Workflow: Add .github/workflows/init-eval.yml with push/pull_request/workflow_dispatch triggers. A previous version existed but was removed in d5d0b22 — can be used as a starting point.
  • Concurrency: Use a concurrency group to cancel in-progress runs on new pushes.
  • Matrix: Run each platform (express, nextjs, python-fastapi, python-flask, react-vite, sveltekit) as a separate matrix job with fail-fast: false.

Open questions

  • Should the Mastra server be a persistent deployment (e.g. Cloudflare Worker) or spun up per-run?
  • Should this run on every PR or only on a schedule / manual trigger to save costs?
Lenguaje dominante
TypeScript
Estrellas
121
Forks
14
Merge medio
22 h 3 min
PR fusionados (30 d)
94

Guía de contribución

No hay ninguna guía de contribución indexada para este repositorio

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de getsentry/cli

Todos los issues de getsentry/cli

Issues similares

Más issues de TypeScript

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.