Proposal: physics-validity provider for the content_safety checkpoint system (deterministic, no-LLM)

Aperta
  • Qualcosa non va?
#1,217 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub

I maintainer di solito rispondono entro 1 giorno

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
5/5
Tempo stimato
Più di una settimana
Idoneità per principianti
35/100
Tipo di issue
Funzionalità
Chiarezza
Abbastanza chiara
Stato di attività
Attiva
Stack tecnologico
python
Ambito
backend

Direzione di ricerca

Start by reading the existing veadk.content_safety Provider, config, and factory layout and how it integrates with the ADK BasePlugin lifecycle. The proposal asks for deterministic checks of physically invalid values in model and tool payloads, with tests; first clarify with maintainers whether this belongs in veadk/content_safety or plugins/. Done means an agreed implementation location, tested rules, and malformed payloads that do not crash the audit.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

Hi team — veadk.content_safety audits content at four lifecycle checkpoints with a pluggable Provider model on top of the ADK BasePlugin lifecycle. Proposal: add a physics-validity provider — deterministic, no-LLM checks for physically invalid values in model/tool payloads: probability outside [0,1], negative mass, superluminal speed, NaN/Inf, below-absolute-zero temperatures, out-of-range shares.

Why it complements (not duplicates) existing providers: content-safety providers judge semantics (toxicity, policy). Physics-validity checks judge whether generated arguments/outputs are physically admissible — no model call (cost bounded by the rule table); verdicts recomputable from the public, versioned rule table. An agent calling tools with {"probability": 1.8} or {"mass_kg": -3.0} can be caught independently of policy checks.

The rule table encodes maintainer-review lessons from the Microsoft PyRIT project (negative binding energies legal, growth percentages are not shares, signed velocities legal, malformed payloads never crash the audit). The same checker ships as a Dify Marketplace plugin, an MCP-registry-listed package, and a host-tested NVIDIA NeMo Relay guardrail plugin (nemo-relay==0.11.1, end-to-end).

Ask: would you take a PR adding a PhysicsProvider under veadk/content_safety (following your Provider/config/factory layout, with tests)? Or, if you prefer it as a separate community plugin under plugins/, that works too — happy to follow whichever direction you pick.

— PHM-Audit

Lingua principale
Python
Stelle
349
Fork
110
Merge medio
18h 44m
PR unite (30g)
34

Preparare l'ambiente

Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di volcengine/veadk-python

Tutte le issue di volcengine/veadk-python

Issue simili

Altre issue su Python

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.