Gateway loses model-request events for malformed or non-object upstream JSON

オープン
  • 何か問題がありますか？
#655 コメント 0 件 リアクション 0 件 担当者 0 名 GitHub で見る

メンテナーはふだん 4 日以内に返信

@JianhaoYu-AI がすでに取り組んでいます。

2026年10月26日 から。

  • #658 @JianhaoYu-AI による — オープン

評価

難易度
3/5
見積もり時間
1〜2日
初心者へのやさしさ
20/100
issue の種類
バグ
明瞭さ
明確に書かれている
活発さ
停滞
技術スタック
fastapi, python
領域
api, backend, testing

調査の方向性

Read agentlightning.server.proxy.forward_request and the existing endpoint cases in tests/server/test_proxy_response.py and tests/server/test_endpoints.py. Start by reproducing the malformed JSON and non-object response cases using the offline setup described in the issue. Done means these responses return a gateway error, record a model-request event, preserve upstream HTTP error statuses, and release the in-flight counter; linked PR #658 is already open.

索引モデルが issue の本文から書いたものです。

説明

Problem

On main at 05c7fe133175653e48c990546a3509e52dc56512, forward_request assumes the upstream response is a JSON object:

  • malformed JSON with Content-Type: application/json raises during response.json();
  • JSON arrays, strings, numbers and null reach _pop_routed_experts and fail before _capture_event;
  • a non-JSON HTTP 200 response becomes {} and is recorded as a successful model request.

The first two paths lose the model-request event, making a failed rollout harder to diagnose.

Offline reproduction

Replace agentlightning.server.proxy._send_upstream_with_retries with an async function returning httpx.Response(200, text="null", headers={"content-type": "application/json"}). Register a rollout and model, then POST a normal chat-completion request through the gateway. The request raises instead of returning a gateway error, and no model-request event is recorded. A response containing { reproduces the JSON parsing failure; HTTP 200 with HTML reproduces the empty successful response.

Proposed scope

I have a focused local patch and eight endpoint regression cases. The patch returns a structured upstream-response error for malformed/non-object/non-JSON responses, maps invalid responses below HTTP 400 to 502, and preserves existing upstream HTTP error statuses. It records the error and retry count and releases the in-flight counter. Valid object responses keep their current path.

Would this error/status contract be appropriate for a PR?

Validation

Windows, Python 3.12.14; FastAPI 0.162.0, HTTPX 0.28.1, pytest 9.1.1. Dependencies were installed from the declared ranges, not the frozen lockfile. No model calls or GPU use.

  • Eight new cases: 8 failed before the patch.
  • python -m pytest -q tests/server/test_proxy_response.py tests/server/test_endpoints.py tests/test_client.py --tb=short: 51 passed after the patch.
  • Server/controller/examples/client tests: patched 101 passed, 9 failed; unchanged upstream 93 passed, the same 9 failed. These failures reference POSIX os.killpg, unavailable on Windows.
  • Ruff lint/format and git diff --check: passed.

I searched open PRs for upstream JSON response handling and non-JSON handling. #587 concerns request bodies; #574 concerns stored triplet export. Neither handles this response-ingestion path. AI assistance was used for investigation, the local patch and test execution.

主要言語
Python
スター
18.8k
フォーク
1.7k
平均マージ
5日 22時間
マージ済み PR（30日）
6

環境構築

このプロジェクトには開発コンテナ、Dockerfile、コントリビューションガイドがありません。まず README を読み、一般的な手順ははじめてのコントリビューションガイドを参照してください。

はじめの一歩

  1. issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
  2. 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
  3. リポジトリをフォークし、ブランチを切って変更します。
  4. issue 番号を参照したプルリクエストを送ります。

microsoft/agent-lightning のほかの issue

microsoft/agent-lightning の issue をすべて見る

似ている issue

Python の issue をもっと見る

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。