Support batch insights in BatchEvaluationRunner
Mantenedores costumam responder em até 1 dia
Ninguém assumiu esta issue ainda.
Avaliação
- Dificuldade
- 4/5
- Tempo estimado
- 3-5 dias
- Facilidade para iniciantes
- 45/100
- Tipo de issue
- Funcionalidade
- Clareza
- Razoavelmente clara
- Status de atividade
- Ativa
- Stack de tecnologia
- aws, python
- Domínio
- ai-infra-agents, api, backend
Direção de pesquisa
Examine the BatchEvaluationRunner class to understand its current dataset-based workflow. Review the StartBatchEvaluation API and the listed Builtin.Insight types (FailureAnalysis, UserIntent, ExecutionSummary) to understand the constraints. Determine if insights can be integrated into the existing runner or require a separate component. Check for any existing tests related to batch evaluation or insights.
Escrita pelo modelo de indexação a partir do texto da issue.
Descrição
BatchEvaluationRunner does not expose the batch insights workflow.
Requested behavior
Support requesting batch insights through BatchEvaluationRunner, with job polling and access to the resulting insights. The original report identifies these StartBatchEvaluation insights:
Builtin.Insight.FailureAnalysisBuiltin.Insight.UserIntentBuiltin.Insight.ExecutionSummary
The workflow should enforce the API constraint that insights and evaluators cannot be requested in the same job.
Why this matters
The reporter uses insights to cluster failures and identify root causes that can be addressed through prompt changes. Without SDK support, the evaluation improvement workflow requires custom orchestration outside BatchEvaluationRunner.
Open design question
Confirm whether the runner's dataset-based workflow is compatible with insights and which inputs are supported. Use that finding to determine how to expose insights through the runner, or whether a separate insights runner is needed. This compatibility question remains unresolved.
Original report environment: bedrock-agentcore 1.23.0, Python 3.13, us-west-2.
- Linguagem predominante
- Python
- Estrelas
- 786
- Forks
- 163
- Merge médio
- 4h
- PRs com merge (30d)
- 22
Preparar o ambiente
- Sem Dockerfile nem arquivo Docker Compose
- Sem modelo de pull request
- Ler o guia de contribuição
Primeiros passos
- Leia a issue inteira e depois o guia de contribuição do projeto.
- Comente na issue dizendo que vai assumir — evita que duas pessoas façam o mesmo trabalho.
- Faça um fork do repositório e trabalhe em uma branch.
- Abra um pull request que referencie o número da issue.
Mais de aws/bedrock-agentcore-sdk-python
-
bug high-severity
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 72/100
aws/bedrock-agentcore-sdk-python#752 ·
Mantenedores costumam responder em até 1 dia
-
OpenAIConverseConverter restores an empty history when one blob or text payload fails to parseAbertabug
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 82/100
aws/bedrock-agentcore-sdk-python#751 · 1 reação ·
Mantenedores costumam responder em até 1 dia
-
delete_all_long_term_memories_in_namespace deletes only the first 10 recordsTalvez já em andamento @Fire162 assumiu há 18 dias. Abertabug high-severity
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 75/100
aws/bedrock-agentcore-sdk-python#727 ·
Mantenedores costumam responder em até 1 dia
-
MPP: credential is always sent in Authorization, ignoring header="Payment-Authorization" in the challengeTalvez já em andamento @abhiramshaji-cyber assumiu há 24 dias. Abertabug
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 68/100
aws/bedrock-agentcore-sdk-python#702 ·
Mantenedores costumam responder em até 1 dia
-
[Bug] update_message fails with parameter validation error when SessionMessage.message_id is a Strands positional integer indexTalvez já em andamento @citizen204 assumiu há 144 dias. Aberta
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 68/100
aws/bedrock-agentcore-sdk-python#556 ·
Mantenedores costumam responder em até 1 dia
Todas as issues de aws/bedrock-agentcore-sdk-python
Issues semelhantes
-
Dificuldade 1/5 Menos de uma hora Facilidade para iniciantes 88/100
snap-stanford/Biomni#380 ·
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 74/100
microsoft/playwright-python#3361 ·
Mantenedores costumam responder em até 1 dia
-
documentation priority: low size: S status: needs triage
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 74/100
cubrid-lab/sqlalchemy-cubrid#1397 ·
Mantenedores costumam responder em até 1 dia
-
documentation priority: low size: S status: needs triage
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 72/100
cubrid-lab/pycubrid#1307 ·
Mantenedores costumam responder em até 1 dia
-
[Bug]: Installer hides SSL certificate errors as bare URLError, and the suggested fix can't workAbertabug
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 80/100
ShaftHQ/chaosengine-harness#143 ·
Mantenedores costumam responder em até 1 dia