New detection rule: repeated-denials (agent probing a guardrail)
I maintainer di solito rispondono entro 1 giorno
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 2/5
- Tempo stimato
- 1-3 ore
- Idoneità per principianti
- 82/100
Direzione di ricerca
Leggi apps/orchestrator/core/audit/detection/rules.py, in particolare rule_autonomous_unapproved_write e gli accessor esistenti, poi esamina i test di rilevamento in apps/orchestrator/tests/test_detection_engine.py. Aggiungi la regola richiesta e la voce nel registro, con test che usino _event(...) per quattro rifiuti e il caso limite con tre rifiuti. Il lavoro è completato quando entrambi i test passano e i comandi Ruff e pytest indicati vengono eseguiti correttamente.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
An agent that hits a wall of denied tool calls is often probing a guardrail. A single denial is noise; a burst is a signal.
Task
In apps/orchestrator/core/audit/detection/rules.py, add a pure function rule_repeated_denials(events) and append it to REGISTRY. Fire when a session has >= 4 tool_called events with action.outcome == "denied". Aggregate into one Detection (severity high) listing all offending event_ids. Reuse the existing accessors (_action_type, _outcome, _event_id, ...).
Acceptance criteria
- Fires on a session with 4 denials; does not fire on 3.
- Tests in
apps/orchestrator/tests/test_detection_engine.py(one fires, one near-miss), using the_event(...)helper. -
python -m ruff check core api testsandpython -m pytest -qpass.
Hint: copy the shape of rule_autonomous_unapproved_write — it already aggregates offending events into one detection.
- Lingua principale
- Python
- Stelle
- 10
- Fork
- 5
- Merge medio
- 10h 26m
- PR unite (30g)
- 108
Preparare l'ambiente
- Include un Dockerfile o un file Docker Compose
- Nessun modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di blitzcrieg1/agentmetry
-
bug detection-rule
Difficoltà 2/5 1-3 ore Idoneità per principianti 65/100
blitzcrieg1/agentmetry#345 ·
I maintainer di solito rispondono entro 1 giorno
-
detection-rule good first issue
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
blitzcrieg1/agentmetry#25 ·
I maintainer di solito rispondono entro 1 giorno
-
enhancement good first issue
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
I maintainer di solito rispondono entro 1 giorno
-
dlp-rule good first issue
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
blitzcrieg1/agentmetry#3 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
detection-rule enhancement
Difficoltà 3/5 1-2 giorni Idoneità per principianti 52/100
blitzcrieg1/agentmetry#348 ·
I maintainer di solito rispondono entro 1 giorno
Tutte le issue di blitzcrieg1/agentmetry
Issue simili
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
I maintainer di solito rispondono entro 1 giorno
-
namespace operations
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 65/100
EclipseFdn/open-vsx.org#15057 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 76/100
FinanceFlash/unvibecode#349 ·
-
Mission statement: why this is free, in the README, Why This Exists and the wiki HomeForse già presa @ChiefGyk3D l’ha presa oggi. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 76/100
ChiefGyk3D/Clouds-Against-Humanity#348 ·
I maintainer di solito rispondono entro 1 giorno
-
[Perf] Default --vllm-watermark 0.05 for rollouts (hybrid models re-preempt under KV pressure)Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 74/100
vllm-project/vime#508 ·
I maintainer di solito rispondono entro 4 giorni