Support batch insights in BatchEvaluationRunner
Los mantenedores suelen responder en 1 día
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Aptitud para principiantes
- 45/100
- Tipo de issue
- Nueva funcionalidad
- Claridad
- Bastante claro
- Estado de actividad
- Activo
- Stack tecnológico
- aws, python
- Área
- ai-infra-agents, api, backend
Línea de trabajo
Examine the BatchEvaluationRunner class to understand its current dataset-based workflow. Review the StartBatchEvaluation API and the listed Builtin.Insight types (FailureAnalysis, UserIntent, ExecutionSummary) to understand the constraints. Determine if insights can be integrated into the existing runner or require a separate component. Check for any existing tests related to batch evaluation or insights.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
BatchEvaluationRunner does not expose the batch insights workflow.
Requested behavior
Support requesting batch insights through BatchEvaluationRunner, with job polling and access to the resulting insights. The original report identifies these StartBatchEvaluation insights:
Builtin.Insight.FailureAnalysisBuiltin.Insight.UserIntentBuiltin.Insight.ExecutionSummary
The workflow should enforce the API constraint that insights and evaluators cannot be requested in the same job.
Why this matters
The reporter uses insights to cluster failures and identify root causes that can be addressed through prompt changes. Without SDK support, the evaluation improvement workflow requires custom orchestration outside BatchEvaluationRunner.
Open design question
Confirm whether the runner's dataset-based workflow is compatible with insights and which inputs are supported. Use that finding to determine how to expose insights through the runner, or whether a separate insights runner is needed. This compatibility question remains unresolved.
Original report environment: bedrock-agentcore 1.23.0, Python 3.13, us-west-2.
- Lenguaje dominante
- Python
- Estrellas
- 786
- Forks
- 163
- Merge medio
- 4 h
- PR fusionados (30 d)
- 22
Preparar el entorno
- Sin Dockerfile ni archivo de Docker Compose
- Sin plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de aws/bedrock-agentcore-sdk-python
-
bug high-severity
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
aws/bedrock-agentcore-sdk-python#752 ·
Los mantenedores suelen responder en 1 día
-
OpenAIConverseConverter restores an empty history when one blob or text payload fails to parseAbiertobug
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
aws/bedrock-agentcore-sdk-python#751 · 1 reacción ·
Los mantenedores suelen responder en 1 día
-
delete_all_long_term_memories_in_namespace deletes only the first 10 recordsPosiblemente ocupada @Fire162 la tomó hace 18 días. Abiertobug high-severity
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
aws/bedrock-agentcore-sdk-python#727 ·
Los mantenedores suelen responder en 1 día
-
MPP: credential is always sent in Authorization, ignoring header="Payment-Authorization" in the challengePosiblemente ocupada @abhiramshaji-cyber la tomó hace 24 días. Abiertobug
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
aws/bedrock-agentcore-sdk-python#702 ·
Los mantenedores suelen responder en 1 día
-
[Bug] update_message fails with parameter validation error when SessionMessage.message_id is a Strands positional integer indexPosiblemente ocupada @citizen204 la tomó hace 144 días. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
aws/bedrock-agentcore-sdk-python#556 ·
Los mantenedores suelen responder en 1 día
Todos los issues de aws/bedrock-agentcore-sdk-python
Issues similares
-
Dificultad 1/5 Menos de una hora Aptitud para principiantes 88/100
snap-stanford/Biomni#380 ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 74/100
microsoft/playwright-python#3361 ·
Los mantenedores suelen responder en 1 día
-
documentation priority: low size: S status: needs triage
Dificultad 2/5 1-3 horas Aptitud para principiantes 74/100
cubrid-lab/sqlalchemy-cubrid#1397 ·
Los mantenedores suelen responder en 1 día
-
documentation priority: low size: S status: needs triage
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
cubrid-lab/pycubrid#1307 ·
Los mantenedores suelen responder en 1 día
-
[Bug]: Installer hides SSL certificate errors as bare URLError, and the suggested fix can't workAbiertobug
Dificultad 2/5 1-3 horas Aptitud para principiantes 80/100
ShaftHQ/chaosengine-harness#143 ·
Los mantenedores suelen responder en 1 día