[Feature Request] - Allow For Local Evals
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Aptitud para principiantes
- 48/100
- Tipo de issue
- Nueva funcionalidad
- Claridad
- Bastante claro
- Estado de actividad
- Activo
- Stack tecnológico
- aws, typescript
Línea de trabajo
Comienza con el manejo de comandos de agentcore CLI para las evaluaciones y con el comando agentcore dev. Después, inspecciona cómo se almacena la telemetría en la carpeta .cli y cómo agentcore.json define un agente y un evaluador. Se considerará terminado cuando un usuario pueda ejecutar evaluaciones desde un agentcore.json que contenga ambos, sin desplegar el agente en una cuenta de AWS.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Description
Currently the agentcore CLI requires a deployed agent to execute evals. Considering the agentcore dev command can spin up the agent locally and stores the telemetry in the .cli folder it would be great if the agentcore CLI supported local evaluation executions.
Acceptance Criteria
- When an agent and evaluator exists in the agentcore.json a user is able to run evals without first deploying the agent to their AWS account
Additional Context
No response
- Lenguaje dominante
- TypeScript
- Estrellas
- 291
- Forks
- 96
- Merge medio
- 21 h 31 min
- PR fusionados (30 d)
- 217
Guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de aws/agentcore-cli
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 70/100
aws/agentcore-cli#2395 ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
aws/agentcore-cli#2392 ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
aws/agentcore-cli#2267 ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
aws/agentcore-cli#2258 ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
aws/agentcore-cli#2176 ·
Todos los issues de aws/agentcore-cli
Issues similares
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 84/100
bcgov/bc-wallet-mobile#4761 · 1 comentario ·
-
external-issue to-triage
Dificultad 2/5 1-3 horas Aptitud para principiantes 88/100
-
area-deployment area-integrations triage:bot-seen
Dificultad 2/5 Medio día Aptitud para principiantes 86/100
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
-
refactor
Dificultad 2/5 1-3 horas Aptitud para principiantes 84/100