apache/seatunnel

[Feature][connector] http connector cursor type pageing not check the number of returned items is less than batchSize？

Open

#10,929 opened on 2026年5月22日

GitHub で見る
 (4 comments) (0 reactions) (0 assignees)Java (6,897 stars) (1,432 forks)batch import
bughelp wanted

説明

Search before asking

  • I had searched in the feature and found no similar feature requirement.

Description

in HttpSourceReader.java 406-407, there are only one kind check is "noMoreElementFlag = Strings.isNullOrEmpty(newCursor)" why not check datasize ? some kind of system return the last same cursor when data is over!

Usage Scenario

No response

Related issues

No response

Are you willing to submit a PR?

  • Yes I am willing to submit a PR!

Code of Conduct

コントリビューターガイド

技術スタック
javarest api
領域
dataapi
Issue 種別
feature
難度新しい貢献者にとっての実装難度です。1 は非常に小さな変更、5 は専門的な作業です。
2
推定時間経験ある貢献者が調査、実装、テスト、pull request 準備にかけるおおよその時間範囲です。
1-3 hours
活動状況Issue が今どれだけ取り組みやすいかを示します。新しい、活発、古い、ブロック中、またはメンテナー入力待ちなどです。
fresh
明確さ期待される変更、受け入れ条件、次の手順がどれだけ明確かを示します。
clear
前提条件
JavaHTTP paginationSeaTunnel connector basics
初心者向け度初回貢献者にどれだけ取り組みやすいかを 1-100 で推定したスコアです。
75
調査方針
Examine HttpSourceReader.java around lines 406-407 where 'noMoreElementFlag' is set. Understand the current cursor based pagination logic. Determine when the API returns the same cursor when data is exhausted. Implement a check comparing the number of returned items to the configured batchSize to detect end of data. Consider adding unit tests for edge cases.