apache/seatunnel

[Feature][connector] http connector cursor type pageing not check the number of returned items is less than batchSize？

Chiusa

#10.929 aperta il 22 mag 2026

Vedi su GitHub
 (4 commenti) (0 reazioni) (0 assegnatari)Java (1432 fork)batch import
bughelp wanted

Metriche repository

Star
 (6897 stelle)
Metriche merge PR
 (Merge medio 13g 21h) (143 PR mergiate in 30 g)

Descrizione

Search before asking

  • I had searched in the feature and found no similar feature requirement.

Description

in HttpSourceReader.java 406-407, there are only one kind check is "noMoreElementFlag = Strings.isNullOrEmpty(newCursor)" why not check datasize ? some kind of system return the last same cursor when data is over!

Usage Scenario

No response

Related issues

No response

Are you willing to submit a PR?

  • Yes I am willing to submit a PR!

Code of Conduct

Guida contributor

Direzione di ricerca
Esamina il file HttpSourceReader.java intorno alle righe 406-407 per comprendere l'attuale logica di paginazione basata sul cursore. Determina se la condizione `Strings.isNullOrEmpty(newCursor)` è sufficiente per rilevare la fine dei dati. Considera di aggiungere un controllo sul numero di elementi restituiti inferiore a batchSize per gestire i casi in cui il server restituisce lo stesso cursore anche dopo che i dati sono esauriti.
Tech stack
java
Dominio
apidata
Tipo issue
Bug
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Mezza giornata
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Abbastanza chiara
Prerequisiti
JavaGit
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
70