WebMCP "real-user measurement"
I maintainer di solito rispondono entro 1 giorno
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Idoneità per principianti
- 25/100
- Tipo di issue
- Funzionalità
- Chiarezza
- Da chiarire
- Stato di attività
- Attiva
- Stack tecnologico
- web-dev
- Ambito
- web-dev
Direzione di ricerca
This is an exploratory design issue about measuring whether in-browser WebMCP tool calls achieve real user goals; it does not identify an implementation file, API, test, or concrete acceptance criteria. Start by reviewing the issue discussion and the WebMCP specification or examples for tool-call instrumentation, then define a measurable feedback mechanism such as thumbs-up/down signals. Done would require an agreed measurement approach, its integration point, and criteria for evaluating changes to the implementation or agent.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
For in-browser agents, it might be interesting to think of ways in which developers can measure how their WebMCP implementation is doing.
While theoretically they can instrument their tool calls to see how often the agent calls them, they won't be able to know if that tool call actually corresponded to what the user was trying to achieve.
A way to measure the latter (e.g. by reflecting user's thumbs up/down votes to the site) could help enable some measurement of changes on either the WebMCP implementation or the agent's.
- Lingua principale
- Bikeshed
- Stelle
- 4.7k
- Fork
- 328
- Merge medio
- 2g 15h
- PR unite (30g)
- 16
Preparare l'ambiente
Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di webmachinelearning/webmcp
-
Difficoltà 1/5 1-3 ore Idoneità per principianti 72/100
webmachinelearning/webmcp#360 ·
I maintainer di solito rispondono entro 1 giorno
-
Say how an agent should weigh annotations that the page wrote about itselfForse già presa Una pull request collegata a questa issue è aperta o già unita. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
webmachinelearning/webmcp#353 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 67/100
webmachinelearning/webmcp#343 · 1 reazione ·
I maintainer di solito rispondono entro 1 giorno
-
Agenda+ i18n-tracker
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
webmachinelearning/webmcp#273 · 3 commenti ·
I maintainer di solito rispondono entro 1 giorno
-
a11y-tracker Agenda+
Difficoltà 2/5 1-3 ore Idoneità per principianti 67/100
webmachinelearning/webmcp#272 · 4 commenti · 2 reazioni ·
I maintainer di solito rispondono entro 1 giorno
Tutte le issue di webmachinelearning/webmcp
Issue simili
-
frontend
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
I maintainer di solito rispondono entro 1 giorno
-
Create Asset from a database's asset list opens the upload page without that database selectedApertabug
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
awslabs/visual-asset-management-system#542 ·
I maintainer di solito rispondono entro 1 giorno
-
enhancement
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
epam/statgpt-admin-frontend#296 ·
I maintainer di solito rispondono entro 1 giorno
-
🐛 bug 🧑💼 conseillers
Difficoltà 2/5 1-3 ore Idoneità per principianti 65/100
betagouv/conseillers-entreprises#4768 ·
I maintainer di solito rispondono entro 1 giorno
-
reader: reopening a message shows the flags it had when it was first opened (star, read state)Apertabug
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
I maintainer di solito rispondono entro 1 giorno