Implement automated pipelines for evaluations
@akh64bit がすでに取り組んでいます。
2025年10月8日 から。
評価
この issue はまだ評価されていません。
説明
Goal
- Each one of our datasets will have a vetted ground truth
- Vulnerabilities it should find
- Vulnerabilities it could find (optional)
- We will have a tool that automatically runs evals on each test case in the dataset
- Output results
- Metadata such as latencies, token usage, tool calls, etc.
- We will have develop an auto-rater that accurately judges the outcome of the run e.g. TP, FP, FN
Challenges
- The "locality" of the vulnerability is not exact. Oftentimes there are many valid code locations which represent the vulnerability. In addition, each test case may have multiple vulnerabilities, sometimes closely related.
- We would like to parallelize test case runs i.e. multiple instances of GCLI, but need to know the practical limit.
- The auto-rater itself needs to be evaluated and improved against its own ground truth.
Phases
- A simple runner that automates runs of a dataset
- An auto-rater that accurately evaluates a run
- Generalize to all datasets
- 主要言語
- TypeScript
- スター
- 793
- フォーク
- 59
- PR マージ指標
- 30日以内にマージされた PR はありません
環境構築
- Dockerfile・Docker Compose ファイルなし
- プルリクエストのテンプレートなし
- コントリビューションガイドを読む
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
gemini-cli-extensions/security のほかの issue
-
Helpオープン
難易度 1/5 1時間未満 初心者へのやさしさ 10/100
-
[Feature Request - Codemaps] Deduplicate Structural Graph Edges and Augment with Metadata (Call Sites)再び着手できるかも @satvikkk が 255 日前に担当しましたが、オープン中のプルリクエストはありません。 オープンenhancement
gemini-cli-extensions/security#141 · 担当者 1 名 ·
-
難易度 3/5 1〜2日 初心者へのやさしさ 45/100
gemini-cli-extensions/security#133 · コメント 3 件 ·
-
難易度 4/5 3〜5日 初心者へのやさしさ 35/100
-
難易度 5/5 1週間以上 初心者へのやさしさ 20/100
gemini-cli-extensions/security の issue をすべて見る
似ている issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100
Graphify-Labs/graphify#4860 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
sveltejs/eslint-plugin-svelte#1615 ·
メンテナーはふだん 7 日以内に返信
-
Parallel reticle_verify opens per-flow leases without the source lease's ignoreHTTPSErrors対応中かも @as992949791 が今日担当しました。 オープンgood first issue help wanted
難易度 2/5 1〜3時間 初心者へのやさしさ 85/100
reticlehq/reticle#2033 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
bug
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
メンテナーはふだん 1 日以内に返信