apache/seatunnel

[Feature][connector] http connector cursor type pageing not check the number of returned items is less than batchSize？

Open

#10 929 ouverte le 22 mai 2026

Voir sur GitHub
 (4 commentaires) (0 réactions) (0 assignés)Java (6 897 stars) (1 432 forks)batch import
bughelp wanted

Description

Search before asking

  • I had searched in the feature and found no similar feature requirement.

Description

in HttpSourceReader.java 406-407, there are only one kind check is "noMoreElementFlag = Strings.isNullOrEmpty(newCursor)" why not check datasize ? some kind of system return the last same cursor when data is over!

Usage Scenario

No response

Related issues

No response

Are you willing to submit a PR?

  • Yes I am willing to submit a PR!

Code of Conduct

Guide contributeur

Stack technique
javarest api
Domaine
dataapi
Type d'issue
feature
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
2
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-3 hours
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
fresh
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
clear
Prérequis
JavaHTTP paginationSeaTunnel connector basics
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
75
Direction de recherche
Examine HttpSourceReader.java around lines 406-407 where 'noMoreElementFlag' is set. Understand the current cursor based pagination logic. Determine when the API returns the same cursor when data is exhausted. Implement a check comparing the number of returned items to the configured batchSize to detect end of data. Consider adding unit tests for edge cases.