Hacktoberfest 2026: los issues que los mantenedores marcaron para octubre, abiertos y aptos para principiantes. Explorar issues de Hacktoberfest

Proposal: compare agent efficiency against verified task outcomes

Abierto Apto para principiantes
  • ¿Algo no está bien?
#9 0 comentarios 0 reacciones 0 asignados Ver en GitHub

Nadie ha tomado este issue todavía.

Evaluación

Dificultad
2/5
Tiempo estimado
1-3 horas
Aptitud para principiantes
70/100
Tipo de issue
Nueva funcionalidad
Claridad
Bien especificado
Estado de actividad
Activo
Stack tecnológico
python
Área
ai

Línea de trabajo

Revisa el Agentic AI Impact Explorer existente y el ejemplo de inferencia de LLM para alinearlo con la ubicación preferida por los mantenedores (extensión, adición o implementación separada). Construye el pequeño ejemplo reproducible con el conjunto de tareas fijas especificado, comprobaciones de aceptación explícitas, seguimiento de costos (incluyendo costo por éxito indefinido para casos sin éxitos), fixture sintética etiquetada y nota de supuestos. Ejecuta pruebas para el componente objetivo para confirmar que el nuevo ejemplo se integra correctamente.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

Hi,

I looked through the Agentic AI Impact Explorer and the LLM inference reference implementation. I would like to contribute a small example that makes task success explicit when comparing agent efficiency.

The explorer models resource use and retry overhead, while the inference example compares baseline and optimized prompts. A useful complement would show whether the lower-cost configuration still completes the same task to an agreed acceptance standard. Cost per attempt can improve even when cost per successful task gets worse.

I propose an offline, reproducible example with:

  • A fixed task set and explicit acceptance checks applied consistently to both configurations.
  • Observed task success, total cost across all attempts, and cost per successful task, with failed attempts included and retries counted once.
  • Clear separation between observed outcomes/cost data and any modeled energy or carbon values. No conversion from token count to electricity use without a stated estimation method.
  • A small synthetic fixture demonstrating the tradeoff, clearly labeled as illustrative rather than an empirical finding. A zero-success configuration would have undefined cost per success, not zero.
  • A short explanation of task boundaries, assumptions, uncertainty, and when the comparison is not meaningful.

I work on agent efficiency and evaluation and built TraceBurn, an open-source agent tracer and efficiency profiler: https://github.com/TommyTranX/traceburn.

Would you prefer this as an extension to the existing explorer, an addition to the inference example, or a separate community implementation? I can scope the contribution around the maintainers' preferred route before starting the implementation.

Hope it's useful.
Tommy

Lenguaje dominante
Python
Estrellas
9
Forks
1
Sin PR fusionados en 30 d

Preparar el entorno

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de Green-Software-Foundation/reference-implementations

Todos los issues de Green-Software-Foundation/reference-implementations

Issues similares

Más issues de Python

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.