Pi: add session-affinity headers and sanitized prompt-cache diagnostics
Los mantenedores suelen responder en 1 día
Evaluación
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Aptitud para principiantes
- 48/100
Línea de trabajo
El issue no nombra archivos de implementación, pruebas ni puntos de entrada. Empieza localizando la construcción de solicitudes de producción de Pi y cualquier herramienta de diagnóstico existente; después, sigue el manejo del estado guardado. Se considera terminado cuando el comportamiento de affinity está habilitado de forma segura, los diagnósticos opt-in cubren los modos de retención indicados sin exponer bearer tokens, el estado malformado falla limpiamente y la evidencia medida se conserva sin afirmar una garantía de retención.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Problem
Pi sessions can be routed across multiple AI Gateway destinations when traffic splitting is configured. Prompt caches are destination-local, so a conversation needs session-affinity headers to avoid avoidable cache misses.
Cache-retention investigations also need reproducible, sanitized tooling. Current observations do not prove that GPT subagents have short retention: GPT-5.6 Sol rejects explicit in_memory, and observed expiry may be caused by UAG forwarding, backend eviction, or prefix matching.
Expected behavior
- Enable Pi's production-safe session-affinity compatibility behavior.
- Add opt-in diagnostic scripts that send stable prompt-cache prefixes and report cache usage without printing bearer tokens.
- Cover
24h, provider-default, and explicitin_memoryrequest construction. - Validate phase-separated saved state and fail cleanly on malformed state.
- Preserve the measured 45/50/60-minute evidence without claiming a backend retention guarantee.
- Do not force
PI_CACHE_RETENTIONor install a child/subagent short-cache policy.
- Lenguaje dominante
- Python
- Estrellas
- 111
- Forks
- 92
- Merge medio
- 1 d 17 h
- PR fusionados (30 d)
- 231
Preparar el entorno
Este proyecto no incluye contenedor de desarrollo, Dockerfile ni guía de contribución, así que la configuración corre por tu cuenta: empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de databricks/unity-gateway
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
databricks/unity-gateway#1042 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
databricks/unity-gateway#1021 · 1 reacción ·
Los mantenedores suelen responder en 1 día
-
feat(codex): support amazon_bedrock Model Provider Services that expose OpenAI-compatible modelsAbierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
databricks/unity-gateway#454 ·
Los mantenedores suelen responder en 1 día
-
ucode opencode ignores the user's own OpenCode configPosiblemente ocupada @larsmoan la tomó hace 51 días. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 74/100
databricks/unity-gateway#391 ·
Los mantenedores suelen responder en 1 día
-
Support Custom $CLAUDE_CONFIG_DIRPosiblemente ocupada @eabrouwer3 la tomó hace 61 días. Abierto
Dificultad 1/5 Menos de una hora Aptitud para principiantes 88/100
databricks/unity-gateway#342 ·
Los mantenedores suelen responder en 1 día
Todos los issues de databricks/unity-gateway
Issues similares
-
`burr` fails to start when the Python path has a space in itPosiblemente ocupada @enekoreto la tomó hoy. Abiertostatus/needs-triage
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
Los mantenedores suelen responder en 5 días
-
gemini 出现了新的域名需要加入Abierto
Dificultad 1/5 Menos de una hora Aptitud para principiantes 72/100
-
Dificultad 2/5 Medio día Aptitud para principiantes 72/100
debpalash/VoiceStudio#2903 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
dagster-io/community-integrations#367 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 74/100
aws-samples/sample-per-model-bedrock#243 ·
Los mantenedores suelen responder en 1 día