Bigger bet: a flight recorder for computer-use agents (always-on capture aligned to the agent's tool calls)

Aperta
#272 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub

I maintainer di solito rispondono entro 1 giorno

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
5/5
Tempo stimato
Più di una settimana
Idoneità per principianti
15/100
Tipo di issue
Funzionalità
Chiarezza
Abbastanza chiara
Stato di attività
Attiva
Stack tecnologico
typescript

Direzione di ricerca

This is design work spanning several existing pieces: the index_recording, search_recording and save_replay tools, the input event log, and the markers and chapters. Read how those tools are registered and how markers are written before proposing anything, and settle the always-on capture and MCP hook design with the maintainer first. Done means one session_report call produces a timeline where each agent action links to nearby frames, and the redaction checks pass.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

feature priority: low

Who it's for

Teams running desktop-automation and computer-use agents, who need an audit trail of what the agent saw and did, for debugging, compliance and trust.

Rationale

Most of the building blocks already exist:

  • the input event log
  • markers and chapters
  • index_recording / search_recording
  • save_replay
  • redaction and secret scanning

What's missing is tying them to the agent's own actions.

Approach

  • An always-on, low-fps session mode.
  • An MCP logging/notification bridge (or a small client-side hook) that adds a marker for every tool call the agent makes, including calls to other servers when the client forwards them.
  • A session_report that renders a searchable, redacted HTML timeline with frames aligned to each agent action.
  • A retention policy.

Done when

One call yields a report where each agent action links to the frames around it, and the secret-redaction checks pass on it.

Lingua principale
TypeScript
Stelle
1
Fork
4
Merge medio
14h 8m
PR unite (30g)
48

Preparare l'ambiente

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di TMHSDigital/screencast-mcp

Tutte le issue di TMHSDigital/screencast-mcp

Issue simili

Altre issue su TypeScript

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.