Support batch insights in BatchEvaluationRunner
Les mainteneurs répondent en général sous 1 jour
Personne n'a encore pris cette issue.
Évaluation
- Difficulté
- 4/5
- Temps estimé
- 3-5 jours
- Accessibilité débutants
- 45/100
- Type d'issue
- Fonctionnalité
- Clarté
- Plutôt claire
- Activité
- Active
- Stack technique
- aws, python
- Domaine
- ai-infra-agents, api, backend
Piste de recherche
Examine the BatchEvaluationRunner class to understand its current dataset-based workflow. Review the StartBatchEvaluation API and the listed Builtin.Insight types (FailureAnalysis, UserIntent, ExecutionSummary) to understand the constraints. Determine if insights can be integrated into the existing runner or require a separate component. Check for any existing tests related to batch evaluation or insights.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Description
BatchEvaluationRunner does not expose the batch insights workflow.
Requested behavior
Support requesting batch insights through BatchEvaluationRunner, with job polling and access to the resulting insights. The original report identifies these StartBatchEvaluation insights:
Builtin.Insight.FailureAnalysisBuiltin.Insight.UserIntentBuiltin.Insight.ExecutionSummary
The workflow should enforce the API constraint that insights and evaluators cannot be requested in the same job.
Why this matters
The reporter uses insights to cluster failures and identify root causes that can be addressed through prompt changes. Without SDK support, the evaluation improvement workflow requires custom orchestration outside BatchEvaluationRunner.
Open design question
Confirm whether the runner's dataset-based workflow is compatible with insights and which inputs are supported. Use that finding to determine how to expose insights through the runner, or whether a separate insights runner is needed. This compatibility question remains unresolved.
Original report environment: bedrock-agentcore 1.23.0, Python 3.13, us-west-2.
- Langage dominant
- Python
- Étoiles
- 786
- Forks
- 163
- Merge moyen
- 4 h
- PR mergées (30 j)
- 22
Préparer son environnement
- Aucun Dockerfile ni fichier Docker Compose
- Aucun modèle de pull request
- Lire le guide de contribution
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Autres issues de aws/bedrock-agentcore-sdk-python
-
bug high-severity
Difficulté 2/5 1-3 heures Accessibilité débutants 72/100
aws/bedrock-agentcore-sdk-python#752 ·
Les mainteneurs répondent en général sous 1 jour
-
OpenAIConverseConverter restores an empty history when one blob or text payload fails to parseOuvertebug
Difficulté 2/5 1-3 heures Accessibilité débutants 82/100
aws/bedrock-agentcore-sdk-python#751 · 1 réaction ·
Les mainteneurs répondent en général sous 1 jour
-
delete_all_long_term_memories_in_namespace deletes only the first 10 recordsPeut-être pris @Fire162 l’a pris il y a 18 jours. Ouvertebug high-severity
Difficulté 2/5 1-3 heures Accessibilité débutants 75/100
aws/bedrock-agentcore-sdk-python#727 ·
Les mainteneurs répondent en général sous 1 jour
-
MPP: credential is always sent in Authorization, ignoring header="Payment-Authorization" in the challengePeut-être pris @abhiramshaji-cyber l’a pris il y a 24 jours. Ouvertebug
Difficulté 2/5 1-3 heures Accessibilité débutants 68/100
aws/bedrock-agentcore-sdk-python#702 ·
Les mainteneurs répondent en général sous 1 jour
-
[Bug] update_message fails with parameter validation error when SessionMessage.message_id is a Strands positional integer indexPeut-être pris @citizen204 l’a pris il y a 144 jours. Ouverte
Difficulté 2/5 1-3 heures Accessibilité débutants 68/100
aws/bedrock-agentcore-sdk-python#556 ·
Les mainteneurs répondent en général sous 1 jour
Toutes les issues de aws/bedrock-agentcore-sdk-python
Issues similaires
-
Difficulté 1/5 Moins d'une heure Accessibilité débutants 88/100
snap-stanford/Biomni#380 ·
-
Difficulté 2/5 1-3 heures Accessibilité débutants 74/100
microsoft/playwright-python#3361 ·
Les mainteneurs répondent en général sous 1 jour
-
documentation priority: low size: S status: needs triage
Difficulté 2/5 1-3 heures Accessibilité débutants 74/100
cubrid-lab/sqlalchemy-cubrid#1397 ·
Les mainteneurs répondent en général sous 1 jour
-
documentation priority: low size: S status: needs triage
Difficulté 2/5 1-3 heures Accessibilité débutants 72/100
cubrid-lab/pycubrid#1307 ·
Les mainteneurs répondent en général sous 1 jour
-
[Bug]: Installer hides SSL certificate errors as bare URLError, and the suggested fix can't workOuvertebug
Difficulté 2/5 1-3 heures Accessibilité débutants 80/100
ShaftHQ/chaosengine-harness#143 ·
Les mainteneurs répondent en général sous 1 jour