Hacktoberfest 2026: los issues que los mantenedores marcaron para octubre, abiertos y aptos para principiantes. Explorar issues de Hacktoberfest

feat(eval): expose maxTokens / temperature / topP flags for llm-as-a-judge evaluator (Bedrock)

Abierto
#1,973 0 comentarios 0 reacciones 0 asignados Ver en GitHub

Nadie ha tomado este issue todavía.

Evaluación

Dificultad
3/5
Tiempo estimado
1-2 días
Aptitud para principiantes
68/100
Tipo de issue
Nueva funcionalidad
Claridad
Bastante claro
Estado de actividad
Tranquilo
Stack tecnológico
typescript
Área
cli

Línea de trabajo

Comienza con src/handlers/eval/evaluator/llm-as-a-judge/create/index.tsx y compara después el manejo de parámetros en src/core/project/schema/harness.ts y src/handlers/harness/parameterHelp.tsx. Localiza la ruta correspondiente de actualización o edición y su validación; la tarea está terminada cuando las tres flags aceptan los rangos documentados, se omiten los valores no establecidos y todas las rutas de evaluación de Bedrock reciben los campos de inferenceConfig.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

enhancement
Summary

The evaluator llm-as-a-judge create handler only passes modelId to the Bedrock evaluator model config — there is no way to set inference parameters. CloudFormation's AWS::BedrockAgentCore::Evaluator InferenceConfiguration supports:

  • MaxTokens — Integer, minimum 1
  • Temperature — Number, 0–1
  • TopP — Number, 0–1

These map to BedrockEvaluatorModelConfig.inferenceConfig and apply to both the Bedrock and Bedrock Mantle evaluator paths.

Current behavior

src/handlers/eval/evaluator/llm-as-a-judge/create/index.tsx builds the config with just the model id:

modelConfig: { bedrockEvaluatorModelConfig: { modelId: flags["model"] } },

There are no --max-tokens, --temperature, or --top-p flags, so users get whatever the service/construct defaults are and cannot tune scoring behavior.

For comparison, the harness handler already exposes these — see src/core/project/schema/harness.ts (temperature, topP, maxTokens) and src/handlers/harness/parameterHelp.tsx.

Requested change

Add flags to llm-as-a-judge create (and any update/edit path):

  • --max-tokens <int> (min 1)
  • --temperature <float> (0.0–1.0)
  • --top-p <float> (0.0–1.0)

Thread them into bedrockEvaluatorModelConfig.inferenceConfig (maxTokens / temperature / topP), omitting any unset value so existing defaults are preserved. Enforce the CFN-documented ranges above.

Related

Companion construct/schema change: aws/agentcore-l3-cdk-constructs#315 (the L3 currently hardcodes { temperature: 0, maxTokens: 4096 } for Bedrock and rejects these fields unless the provider is OpenAI). This CLI change depends on that surface being available.

Lenguaje dominante
TypeScript
Estrellas
291
Forks
96
Merge medio
21 h 31 min
PR fusionados (30 d)
217

Guía de contribución

Abrir la guía de contribución

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de aws/agentcore-cli

Todos los issues de aws/agentcore-cli

Issues similares

Más issues de TypeScript

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.