Support batch insights in BatchEvaluationRunner
I maintainer di solito rispondono entro 1 giorno
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Idoneità per principianti
- 45/100
- Tipo di issue
- Funzionalità
- Chiarezza
- Abbastanza chiara
- Stato di attività
- Attiva
- Stack tecnologico
- aws, python
- Ambito
- ai-infra-agents, api, backend
Direzione di ricerca
Examine the BatchEvaluationRunner class to understand its current dataset-based workflow. Review the StartBatchEvaluation API and the listed Builtin.Insight types (FailureAnalysis, UserIntent, ExecutionSummary) to understand the constraints. Determine if insights can be integrated into the existing runner or require a separate component. Check for any existing tests related to batch evaluation or insights.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
BatchEvaluationRunner does not expose the batch insights workflow.
Requested behavior
Support requesting batch insights through BatchEvaluationRunner, with job polling and access to the resulting insights. The original report identifies these StartBatchEvaluation insights:
Builtin.Insight.FailureAnalysisBuiltin.Insight.UserIntentBuiltin.Insight.ExecutionSummary
The workflow should enforce the API constraint that insights and evaluators cannot be requested in the same job.
Why this matters
The reporter uses insights to cluster failures and identify root causes that can be addressed through prompt changes. Without SDK support, the evaluation improvement workflow requires custom orchestration outside BatchEvaluationRunner.
Open design question
Confirm whether the runner's dataset-based workflow is compatible with insights and which inputs are supported. Use that finding to determine how to expose insights through the runner, or whether a separate insights runner is needed. This compatibility question remains unresolved.
Original report environment: bedrock-agentcore 1.23.0, Python 3.13, us-west-2.
- Lingua principale
- Python
- Stelle
- 786
- Fork
- 163
- Merge medio
- 4h
- PR unite (30g)
- 22
Preparare l'ambiente
- Nessun Dockerfile né file Docker Compose
- Nessun modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di aws/bedrock-agentcore-sdk-python
-
bug high-severity
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
aws/bedrock-agentcore-sdk-python#752 ·
I maintainer di solito rispondono entro 1 giorno
-
OpenAIConverseConverter restores an empty history when one blob or text payload fails to parseApertabug
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
aws/bedrock-agentcore-sdk-python#751 · 1 reazione ·
I maintainer di solito rispondono entro 1 giorno
-
delete_all_long_term_memories_in_namespace deletes only the first 10 recordsForse già presa @Fire162 l’ha presa 18 giorni fa. Apertabug high-severity
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
aws/bedrock-agentcore-sdk-python#727 ·
I maintainer di solito rispondono entro 1 giorno
-
MPP: credential is always sent in Authorization, ignoring header="Payment-Authorization" in the challengeForse già presa @abhiramshaji-cyber l’ha presa 24 giorni fa. Apertabug
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
aws/bedrock-agentcore-sdk-python#702 ·
I maintainer di solito rispondono entro 1 giorno
-
[Bug] update_message fails with parameter validation error when SessionMessage.message_id is a Strands positional integer indexForse già presa @citizen204 l’ha presa 144 giorni fa. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
aws/bedrock-agentcore-sdk-python#556 ·
I maintainer di solito rispondono entro 1 giorno
Tutte le issue di aws/bedrock-agentcore-sdk-python
Issue simili
-
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 88/100
snap-stanford/Biomni#380 ·
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 74/100
microsoft/playwright-python#3361 ·
I maintainer di solito rispondono entro 1 giorno
-
documentation priority: low size: S status: needs triage
Difficoltà 2/5 1-3 ore Idoneità per principianti 74/100
cubrid-lab/sqlalchemy-cubrid#1397 ·
I maintainer di solito rispondono entro 1 giorno
-
documentation priority: low size: S status: needs triage
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
cubrid-lab/pycubrid#1307 ·
I maintainer di solito rispondono entro 1 giorno
-
[Bug]: Installer hides SSL certificate errors as bare URLError, and the suggested fix can't workApertabug
Difficoltà 2/5 1-3 ore Idoneità per principianti 80/100
ShaftHQ/chaosengine-harness#143 ·
I maintainer di solito rispondono entro 1 giorno