Hacktoberfest 2026: los issues que los mantenedores marcaron para octubre, abiertos y aptos para principiantes. Explorar issues de Hacktoberfest

LiteLLM integration does not report cached, reasoning, or cache-write token usage

Abierto
#5,455 4 comentarios 0 reacciones 1 asignado Ver en GitHub

@alexander-alderman-webb ya está trabajando en esto.

Desde el 23/2/2026.

Evaluación

Este issue todavía no se ha evaluado.

Descripción

Bug Python Spans
How do you use Sentry?

Sentry Saas (sentry.io)

Version

2.52.0

Steps to Reproduce
  1. Initialize Sentry with the LiteLLM integration and tracing enabled
  2. Make a completion call through LiteLLM to a provider that supports prompt caching (e.g., OpenAI, Anthropic, etc.)
  3. Inspect the resulting span data in Sentry's AI Agents dashboard
Expected Result

The span should include all available token usage detail attributes, just like the OpenAI and Anthropic integrations do:

  • gen_ai.usage.input_tokens (total input tokens)
  • gen_ai.usage.input_tokens.cached (cached input tokens, subset of total)
  • gen_ai.usage.input_tokens.cache_write (cache write tokens, if available)
  • gen_ai.usage.output_tokens (total output tokens)
  • gen_ai.usage.output_tokens.reasoning (reasoning tokens, subset of total)
  • gen_ai.usage.total_tokens

This data is necessary for Sentry to correctly calculate model costs using the formula documented here:

input cost = (input_tokens - cached_tokens) x input_rate + cached_tokens x cached_rate

Without cached/reasoning token breakdown, all tokens are charged at the full standard rate, producing inaccurate cost estimates.

Actual Result

The LiteLLM integration's _success_callback only extracts three basic fields:

record_token_usage(
    span,
    input_tokens=getattr(usage, "prompt_tokens", None),
    output_tokens=getattr(usage, "completion_tokens", None),
    total_tokens=getattr(usage, "total_tokens", None),
)

The input_tokens_cached, input_tokens_cache_write, and output_tokens_reasoning parameters of record_token_usage() are never passed. Therefore, cost calculations in the AI Agents dashboard overestimate costs for cached-heavy workloads (all input tokens billed at the full rate) and misattribute output vs. reasoning token costs.

Lenguaje dominante
Python
Estrellas
2.2k
Forks
672
Merge medio
22 h 47 min
PR fusionados (30 d)
224

Guía de contribución

Abrir la guía de contribución

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de getsentry/sentry-python

Todos los issues de getsentry/sentry-python

Issues similares

Más issues de Python

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.