RAG training becomes slow over time with frequent MCP retrieve timeouts
メンテナーはふだん 2 日以内に返信
まだ誰も着手していません。
評価
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 初心者へのやさしさ
- 35/100
- issue の種類
- バグ
- 明瞭さ
- 説明が足りない
- 活発さ
- 停滞
- 技術スタック
- python
調査の方向性
ソースファイルもテストも指定されていません。まず global step 700 前後での RAG トレーニングの速度低下を再現し、次に MCP retrieve calls と OTLP traces endpoint を調査しながら、イテレーション時間と 60-second timeout および ClientDisconnect エラーの相関を確認してください。進行性の速度低下と関連する timeout エラーが解消されれば完了です。
索引モデルが issue の本文から書いたものです。
説明
Describe the bug
When training a RAG task with AgentLightning, the training gradually becomes extremely slow and starts to produce frequent errors related to MCP retrieve timeouts and OTLP trace handling.
From the logs:
- The time per iteration keeps increasing to thousands of seconds (
s/it).
Training Progress: 0%| | 0/125000 [00:00<?, ?it/s]
Training Progress: 0%| | 1/125000 [01:05<2288:35:44, 65.91s/it]
Training Progress: 0%| | 2/125000 [02:13<2329:03:57, 67.08s/it]
Training Progress: 0%| | 3/125000 [04:13<3167:15:15, 91.22s/it]
……
Training Progress: 1%| | 698/125000 [103:28:02<47135:04:52, 1365.11s/it]
ERROR:2026-02-18 04:35:13,188:Error invoking MCP tool retrieve: Timed out while waiting for response to ClientRequest. Waited 60.0 seconds.
(TaskRunner pid=2492560)
Training Progress: 1%| | 699/125000 [103:46:37<44547:19:03, 1290.18s/it]
ERROR:2026-02-18 07:30:21,360:Error invoking MCP tool retrieve: Timed out while waiting for response to ClientRequest. Waited 60.0 seconds.
ERROR:2026-02-18 07:36:57,659:Error invoking MCP tool retrieve: Timed out while waiting for response to ClientRequest. Waited 60.0 seconds.
ERROR:2026-02-18 08:27:00,963:Error invoking MCP tool retrieve: Timed out while waiting for response to ClientRequest. Waited 60.0 seconds.
(TaskRunner pid=2492560)
Training Progress: 1%| | 700/125000 [108:31:43<208373:35:24, 6034.96s/it]
...
(TaskRunner pid=2492560)
Training Progress: 1%| | 719/125000 [118:23:48<42790:52:24, 1239.51s/it]
ERROR:2026-02-18 20:20:41,745:Error invoking MCP tool retrieve: Timed out while waiting for response to ClientRequest. Waited 60.0 seconds.
Observed behavior:
- In the early phase training speed is acceptable.
- After several hundred global steps (~700), each step becomes slower and slower.
- Logs start to show many
Error invoking MCP tool retrieve: Timed out while waiting for response to ClientRequest. Waited 60.0 seconds.messages. starlette.requests.ClientDisconnectis raised in the OTLP traces endpoint.
- 主要言語
- Python
- スター
- 18.7k
- フォーク
- 1.8k
- 平均マージ
- 3日 10時間
- マージ済み PR（30日）
- 12
環境構築
このプロジェクトには開発コンテナ、Dockerfile、コントリビューションガイドがありません。まず README を読み、一般的な手順ははじめてのコントリビューションガイドを参照してください。
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
microsoft/agent-lightning のほかの issue
-
RayPPOTrainer._dump_generations() missing gts argument in _train_step call対応中かも @yunkai-yyk が 248 日前に担当しました。 オープンbug v0.x verl
難易度 1/5 1時間未満 初心者へのやさしさ 68/100
microsoft/agent-lightning#492 ·
メンテナーはふだん 2 日以内に返信
-
enhancement store v0.x
難易度 2/5 1〜3時間 初心者へのやさしさ 62/100
microsoft/agent-lightning#372 · コメント 10 件 ·
メンテナーはふだん 2 日以内に返信
-
難易度 3/5 1〜2日 初心者へのやさしさ 48/100
microsoft/agent-lightning#650 · コメント 1 件 ·
メンテナーはふだん 2 日以内に返信
-
Trajectory aggregation: classify prefix mismatches (`template_mismatch` / `retoken_mismatch` are always `False`)対応中かも このイシューにリンクされたプルリクエストがオープン中、またはマージ済みです。 オープン
難易度 4/5 3〜5日 初心者へのやさしさ 50/100
microsoft/agent-lightning#645 · コメント 4 件 ·
メンテナーはふだん 2 日以内に返信
-
難易度 3/5 1〜2日 初心者へのやさしさ 57/100
microsoft/agent-lightning#641 ·
メンテナーはふだん 2 日以内に返信
microsoft/agent-lightning の issue をすべて見る
似ている issue
-
Project submission:オープン
難易度 1/5 1時間未満 初心者へのやさしさ 72/100
slavakurilyak/awesome-ai-agents#845 ·
メンテナーはふだん 1 日以内に返信
-
tests: pin that the atomic writers in utils/paths.py stage the temporary file in the target's directory対応中かも このイシューにリンクされたプルリクエストがオープン中、またはマージ済みです。 オープンdifficulty:2 enhancement good first issue
難易度 1/5 1〜3時間 初心者へのやさしさ 92/100
MakazhanAlpamys/Soup#2178 ·
メンテナーはふだん 1 日以内に返信
-
[BUG] dcg.waggr permutation p-values are folded twice, so near-zero scores get the smallest p-valuesオープン
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
scverse/rapids-singlecell#854 ·
メンテナーはふだん 1 日以内に返信
-
Slang input: int8_t4_packed and uint8_t4_packed are copied into CrossGL対応中かも @ninglinLiu が 1 日前に担当しました。 オープンarea:frontend backend:slang bug direction:input
難易度 2/5 1〜3時間 初心者へのやさしさ 70/100
メンテナーはふだん 1 日以内に返信
-
random_elements(unique=True) on an OrderedDict: ZeroDivisionError once only zero weights remain, AssertionError with use_weighting=False対応中かも このイシューにリンクされたプルリクエストがオープン中、またはマージ済みです。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 85/100
メンテナーはふだん 13 日以内に返信