[deep-report] Daily Max Ai Credits Test failures aren't flagged intentional_failure, skewing success-rate rollups
メンテナーはふだん 1 日以内に返信
まだ誰も着手していません。
評価
- 難易度
- 2/5
- 見積もり時間
- 1〜3時間
- 初心者へのやさしさ
- 65/100
調査の方向性
Issueには分類ファイルもテストも記載されていません。まず、ログツールが intentional_failure をどこで導出またはタグ付けしているかを特定し、次に「Daily Max Ai Credits Test」の扱いを、関連する「Daily Credit Limit Test」と比較してください。想定される失敗を伴う実行に正しくタグが付いていることを確認し、関連するテストを実行してください。想定される失敗が成功率の集計から除外されれば完了です。
索引モデルが issue の本文から書いたものです。
説明
Description
This week's fleet-log sample shows "Daily Max Ai Credits Test" had 7 runs with 3 failures, all driver_exit-type consistent with its per-run max-ai-credits guardrail firing as designed — but none of the 3 failed runs were flagged intentional_failure: true in the logs tool's metadata, unlike its sibling "Daily Credit Limit Test" (14/14 flagged correctly). This means fleet-wide success-rate rollups that exclude intentional_failure runs currently miss this workflow and undercount its expected failures as real regressions.
Expected Impact
Keeps weekly/fleet success-rate reporting accurate by correctly classifying this guardrail test's expected failures, preventing a recurring false signal in health reports.
Suggested Agent
General Go agent working on the agenticworkflows/logs-classification tooling (wherever intentional_failure is derived/tagged)
Estimated Effort
Quick (< 1 hour — likely a missing name/pattern match in the classification logic)
Data Source
DeepReport fleet-health log analysis, 2026-09-30 to 2026-10-07 (agenticworkflows logs sampling)
Generated by 🔬 Deep Report · claude · agent · 553.8 AIC · ⌖ 7.81 AIC · ⊞ 7.1K · ◷
- expires on Oct 8, 2026, 5:41 PM UTC-08:00
- 主要言語
- Go
- スター
- 5.4k
- フォーク
- 584
- 平均マージ
- 3時間 16分
- マージ済み PR（30日）
- 829
環境構築
このプロジェクトの開発コンテナを、あなたの GitHub アカウントでブラウザ上に起動します。
- Dockerfile または Docker Compose ファイルあり
- プルリクエストのテンプレートなし
- コントリビューションガイドを読む
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
github/gh-aw のほかの issue
-
agent-research
難易度 2/5 1〜3時間 初心者へのやさしさ 70/100
メンテナーはふだん 1 日以内に返信
-
automated conformance medium-priority safe-outputs
難易度 1/5 1時間未満 初心者へのやさしさ 84/100
メンテナーはふだん 1 日以内に返信
-
windows workflow
難易度 2/5 1〜3時間 初心者へのやさしさ 70/100
メンテナーはふだん 1 日以内に返信
-
cookie sergo
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
github/gh-aw#69613 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
MCP Gateway rejects digest-pinned container images: embedded JSON schema disagrees with containerPattern対応中かも @pelikhan が今日担当しました。 オープンai-inspected
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
メンテナーはふだん 1 日以内に返信
似ている issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 74/100
scaleway/scaleway-cli#6492 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 67/100
taskcluster/taskcluster#9284 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 66/100
-
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
oasdiff/oasdiff#1337 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100
splunk/terraform-provider-splunk#256 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信