GenerateResponse/ChatResponse silently drop the server's prompt_eval_cached_count field

Abierto Apto para principiantes
  • ¿Algo no está bien?
#779 0 comentarios 0 reacciones 0 asignados Ver en GitHub

Los mantenedores suelen responder en 1 día

@pfolex ya está trabajando en esto.

Desde el 24/10/2026.

  • #780 de @pfolex — abierto

Evaluación

Dificultad
1/5
Tiempo estimado
Menos de una hora
Aptitud para principiantes
95/100
Tipo de issue
Error
Claridad
Bien especificado
Estado de actividad
Activo
Stack tecnológico
python
Área
api

Línea de trabajo

Comienza en ollama/_types.py e inspecciona BaseGenerateResponse, la base común para GenerateResponse y ChatResponse. Agrega el campo opcional prompt_eval_cached_count junto con los campos existentes de evaluación del prompt y luego ejecuta la reproducción mínima del issue con GenerateResponse.model_validate() y comprueba model_dump(). El cambio estará completo cuando ambos tipos de respuesta conserven el campo del servidor y sigan siendo compatibles con las respuestas que lo omiten.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

Actual behavior

The Ollama server returns prompt_eval_cached_count (number of prompt tokens served from the prompt cache) alongside prompt_eval_count on both /api/generate and /api/chat responses. It's documented in the server's own OpenAPI spec and actually implemented server-side:

  • docs/openapi.yaml (ollama/ollama): declared on GenerateResponse (line 146), GenerateStreamEvent (line 193), and ChatResponse (line 353).

  • api/types.go (ollama/ollama), lines 566 and 634:

    PromptEvalCachedCount *int `json:"prompt_eval_cached_count,omitempty"`

    consumed in Metrics.Summary() (lines 1090-1101) to print prompt eval cached: N token(s) in ollama run --verbose output and to compute the uncached-token eval rate.

ollama/_types.py's BaseGenerateResponse (the shared base of both GenerateResponse and ChatResponse) never declares this field. Pydantic's default extra='ignore' then silently drops it during parsing — every sibling duration/count field survives, this one alone disappears with no error or warning.

Minimal reproduction:

from ollama._types import GenerateResponse

server_json = {
    'model': 'llama3.2:3b', 'done': True,
    'prompt_eval_count': 50, 'prompt_eval_cached_count': 42,
    'eval_count': 10,
}
r = GenerateResponse.model_validate(server_json)
r.prompt_eval_count          # 50  (present)
r.prompt_eval_cached_count   # AttributeError: 'GenerateResponse' object has no attribute 'prompt_eval_cached_count'
'prompt_eval_cached_count' in r.model_dump()   # False

Same result constructing a ChatResponse from the equivalent chat payload.

Expected behavior

prompt_eval_cached_count is preserved as Optional[int] = None on BaseGenerateResponse, the same way prompt_eval_count/prompt_eval_duration already are — additive and backward compatible, since older servers simply omit the key.

Why this matters

Prompt caching is one of the main levers for making Ollama fast on repeated or long-context requests, and this field is the one piece of data that lets API consumers actually confirm whether their prompt was served from cache. The CLI already surfaces it (prompt eval cached: N token(s)). Right now, anyone trying to diagnose prompt-cache effectiveness through ollama-python instead of the CLI is working blind — the field is there in the server's response and vanishes silently on the way into the SDK's model.

Suggested fix

Add to BaseGenerateResponse in ollama/_types.py:

prompt_eval_cached_count: Optional[int] = None
'Number of prompt tokens read from the cache.'

Same additive, backward-compatible shape as #751's fix for the related Logprob/TokenLogprob server-bytes gap (#750).

Environment

ollama-python: main @ 35d9667e84ebbd9d792826868d050027f75c1cc1
pydantic 2.13.5, Python 3.13

Lenguaje dominante
Python
Estrellas
10.6k
Forks
1.2k
Merge medio
22 min
PR fusionados (30 d)
1

Preparar el entorno

Este proyecto no incluye contenedor de desarrollo, Dockerfile ni guía de contribución, así que la configuración corre por tu cuenta: empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de ollama/ollama-python

Todos los issues de ollama/ollama-python

Issues similares

Más issues de Python

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.