apache/seatunnel

[Feature][connector] http connector cursor type pageing not check the number of returned items is less than batchSize？

Open

Aperta il 22 mag 2026

Vedi su GitHub
 (4 commenti) (0 reazioni) (0 assegnatari)Java (6897 star) (1432 fork)batch import
bughelp wanted

Descrizione

Search before asking

  • I had searched in the feature and found no similar feature requirement.

Description

in HttpSourceReader.java 406-407, there are only one kind check is "noMoreElementFlag = Strings.isNullOrEmpty(newCursor)" why not check datasize ? some kind of system return the last same cursor when data is over!

Usage Scenario

No response

Related issues

No response

Are you willing to submit a PR?

  • Yes I am willing to submit a PR!

Code of Conduct

Guida contributor

Tech stack
java
Dominio
apidata
Tipo issue
bug
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
half day
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
active
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
mostly clear
Prerequisiti
JavaGit
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
70
Direzione di ricerca
Esamina il file HttpSourceReader.java intorno alle righe 406-407 per comprendere l'attuale logica di paginazione basata sul cursore. Determina se la condizione `Strings.isNullOrEmpty(newCursor)` è sufficiente per rilevare la fine dei dati. Considera di aggiungere un controllo sul numero di elementi restituiti inferiore a batchSize per gestire i casi in cui il server restituisce lo stesso cursore anche dopo che i dati sono esauriti.