apache/seatunnel

[Feature][connector] http connector cursor type pageing not check the number of returned items is less than batchSize？

Fermée

#10 929 ouverte le 22 mai 2026

Voir sur GitHub
 (4 commentaires) (0 réaction) (0 personne assignée)Java (1 432 forks)batch import
bughelp wanted

Métriques du dépôt

Stars
 (6 897 étoiles)
Métriques de merge PR
 (Merge moyen 13j 21h) (143 PRs mergées en 30 j)

Description

Search before asking

  • I had searched in the feature and found no similar feature requirement.

Description

in HttpSourceReader.java 406-407, there are only one kind check is "noMoreElementFlag = Strings.isNullOrEmpty(newCursor)" why not check datasize ? some kind of system return the last same cursor when data is over!

Usage Scenario

No response

Related issues

No response

Are you willing to submit a PR?

  • Yes I am willing to submit a PR!

Code of Conduct

Guide contributeur

Direction de recherche
Examinez le fichier HttpSourceReader.java autour des lignes 406-407 pour comprendre la logique de pagination basée sur le curseur. Déterminez si la condition `Strings.isNullOrEmpty(newCursor)` est suffisante pour détecter la fin des données. Envisagez d'ajouter une vérification du nombre d'éléments retournés inférieur à batchSize pour gérer les cas où le serveur renvoie le même curseur même après l'épuisement des données.
Stack technique
java
Domaine
apidata
Type d'issue
Bug
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
2
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
Une demi journée
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Plutôt claire
Prérequis
JavaGit
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
70