[Feature Request] - Allow For Local Evals
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Idoneità per principianti
- 48/100
- Tipo di issue
- Funzionalità
- Chiarezza
- Abbastanza chiara
- Stato di attività
- Attiva
- Stack tecnologico
- aws, typescript
Direzione di ricerca
Inizia dalla gestione dei comandi di agentcore CLI per le eval e dal comando agentcore dev, poi esamina come la telemetria viene archiviata nella cartella .cli e come agentcore.json definisce un agente e un valutatore. Il lavoro è completo quando un utente può eseguire le eval da un agentcore.json che contiene entrambi, senza distribuire l'agente in un account AWS.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Description
Currently the agentcore CLI requires a deployed agent to execute evals. Considering the agentcore dev command can spin up the agent locally and stores the telemetry in the .cli folder it would be great if the agentcore CLI supported local evaluation executions.
Acceptance Criteria
- When an agent and evaluator exists in the agentcore.json a user is able to run evals without first deploying the agent to their AWS account
Additional Context
No response
- Lingua principale
- TypeScript
- Stelle
- 291
- Fork
- 96
- Merge medio
- 21h 31m
- PR unite (30g)
- 217
Guida per i contributori
Apri la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di aws/agentcore-cli
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 70/100
aws/agentcore-cli#2395 ·
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
aws/agentcore-cli#2392 ·
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 76/100
aws/agentcore-cli#2267 ·
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
aws/agentcore-cli#2258 ·
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
aws/agentcore-cli#2176 ·
Tutte le issue di aws/agentcore-cli
Issue simili
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 84/100
bcgov/bc-wallet-mobile#4761 · 1 commento ·
-
external-issue to-triage
Difficoltà 2/5 1-3 ore Idoneità per principianti 88/100
-
area-deployment area-integrations triage:bot-seen
Difficoltà 2/5 Mezza giornata Idoneità per principianti 86/100
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
-
refactor
Difficoltà 2/5 1-3 ore Idoneità per principianti 84/100