RAG training becomes slow over time with frequent MCP retrieve timeouts

Abierto
  • ¿Algo no está bien?
#504 1 comentario 0 reacciones 0 asignados Ver en GitHub

Los mantenedores suelen responder en 3 días

Nadie ha tomado este issue todavía.

Evaluación

Dificultad
4/5
Tiempo estimado
3-5 días
Aptitud para principiantes
35/100
Tipo de issue
Error
Claridad
Necesita aclaración
Estado de actividad
Estancado
Stack tecnológico
python
Área
machine-learning

Línea de trabajo

No se indica ningún archivo fuente ni ninguna prueba. Empieza reproduciendo la ralentización del entrenamiento de RAG alrededor de global step 700; después, inspecciona las MCP retrieve calls y el OTLP traces endpoint mientras correlacionas el tiempo de iteración con el 60-second timeout y los errores de ClientDisconnect. Se considera terminado cuando se hayan resuelto la ralentización progresiva y los errores de timeout relacionados.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

v0.x
Describe the bug

When training a RAG task with AgentLightning, the training gradually becomes extremely slow and starts to produce frequent errors related to MCP retrieve timeouts and OTLP trace handling.

From the logs:

  • The time per iteration keeps increasing to thousands of seconds (s/it).
Training Progress:   0%|          | 0/125000 [00:00<?, ?it/s]
Training Progress:   0%|          | 1/125000 [01:05<2288:35:44, 65.91s/it]
Training Progress:   0%|          | 2/125000 [02:13<2329:03:57, 67.08s/it]
Training Progress:   0%|          | 3/125000 [04:13<3167:15:15, 91.22s/it]
……
Training Progress:   1%|          | 698/125000 [103:28:02<47135:04:52, 1365.11s/it]
ERROR:2026-02-18 04:35:13,188:Error invoking MCP tool retrieve: Timed out while waiting for response to ClientRequest. Waited 60.0 seconds.
(TaskRunner pid=2492560)
Training Progress:   1%|          | 699/125000 [103:46:37<44547:19:03, 1290.18s/it]
ERROR:2026-02-18 07:30:21,360:Error invoking MCP tool retrieve: Timed out while waiting for response to ClientRequest. Waited 60.0 seconds.
ERROR:2026-02-18 07:36:57,659:Error invoking MCP tool retrieve: Timed out while waiting for response to ClientRequest. Waited 60.0 seconds.
ERROR:2026-02-18 08:27:00,963:Error invoking MCP tool retrieve: Timed out while waiting for response to ClientRequest. Waited 60.0 seconds.
(TaskRunner pid=2492560)
Training Progress:   1%|          | 700/125000 [108:31:43<208373:35:24, 6034.96s/it]
...
(TaskRunner pid=2492560)
Training Progress:   1%|          | 719/125000 [118:23:48<42790:52:24, 1239.51s/it]
ERROR:2026-02-18 20:20:41,745:Error invoking MCP tool retrieve: Timed out while waiting for response to ClientRequest. Waited 60.0 seconds.
Observed behavior:
  • In the early phase training speed is acceptable.
  • After several hundred global steps (~700), each step becomes slower and slower.
  • Logs start to show many Error invoking MCP tool retrieve: Timed out while waiting for response to ClientRequest. Waited 60.0 seconds. messages.
  • starlette.requests.ClientDisconnect is raised in the OTLP traces endpoint.
Lenguaje dominante
Python
Estrellas
18.9k
Forks
1.7k
Merge medio
4 d 11 h
PR fusionados (30 d)
9

Preparar el entorno

Este proyecto no incluye contenedor de desarrollo, Dockerfile ni guía de contribución, así que la configuración corre por tu cuenta: empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de microsoft/agent-lightning

Todos los issues de microsoft/agent-lightning

Issues similares

Más issues de Python

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.