Hacktoberfest 2026: los issues que los mantenedores marcaron para octubre, abiertos y aptos para principiantes. Explorar issues de Hacktoberfest

Implement automated pipelines for evaluations

Abierto
  • ¿Algo no está bien?
#26 0 comentarios 0 reacciones 1 asignado Ver en GitHub

@akh64bit ya está trabajando en esto.

Desde el 8/10/2025.

Evaluación

Este issue todavía no se ha evaluado.

Descripción

Goal

  • Each one of our datasets will have a vetted ground truth
    • Vulnerabilities it should find
    • Vulnerabilities it could find (optional)
  • We will have a tool that automatically runs evals on each test case in the dataset
    • Output results
    • Metadata such as latencies, token usage, tool calls, etc.
  • We will have develop an auto-rater that accurately judges the outcome of the run e.g. TP, FP, FN

Challenges

  • The "locality" of the vulnerability is not exact. Oftentimes there are many valid code locations which represent the vulnerability. In addition, each test case may have multiple vulnerabilities, sometimes closely related.
  • We would like to parallelize test case runs i.e. multiple instances of GCLI, but need to know the practical limit.
  • The auto-rater itself needs to be evaluated and improved against its own ground truth.

Phases

  • A simple runner that automates runs of a dataset
  • An auto-rater that accurately evaluates a run
  • Generalize to all datasets
Lenguaje dominante
TypeScript
Estrellas
793
Forks
59
Sin PR fusionados en 30 d

Preparar el entorno

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de gemini-cli-extensions/security

Todos los issues de gemini-cli-extensions/security

Issues similares

Más issues de TypeScript

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.