apache/seatunnel

[Feature][connector] http connector cursor type pageing not check the number of returned items is less than batchSize？

Geschlossen

#10.929 geöffnet am 22.05.2026

Auf GitHub ansehen
 (4 Kommentare) (0 Reaktionen) (0 zugewiesene Personen)Java (1.432 Forks)batch import
bughelp wanted

Repository-Metriken

Stars
 (6.897 Sterne)
PR-Merge-Metriken
 (Durchschn. Merge 13T 21h) (143 gemergte PRs in 30 T)

Beschreibung

Search before asking

  • I had searched in the feature and found no similar feature requirement.

Description

in HttpSourceReader.java 406-407, there are only one kind check is "noMoreElementFlag = Strings.isNullOrEmpty(newCursor)" why not check datasize ? some kind of system return the last same cursor when data is over!

Usage Scenario

No response

Related issues

No response

Are you willing to submit a PR?

  • Yes I am willing to submit a PR!

Code of Conduct

Contributor Guide

Research-Richtung
Überprüfe die Datei HttpSourceReader.java um die Zeilen 406-407, um die aktuelle cursor basierte Paginierungslogik zu verstehen. Bestimme, ob die Bedingung `Strings.isNullOrEmpty(newCursor)` ausreicht, um das Ende der Daten zu erkennen. Erwäge, eine Überprüfung hinzuzufügen, ob die Anzahl der zurückgegebenen Elemente kleiner als batchSize ist, um Fälle zu behandeln, in denen der Server denselben Cursor zurückgibt, nachdem die Daten erschöpft sind.
Tech Stack
java
Domain
apidata
Issue Type
Fehler
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
2
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
Halber Tag
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Meist klar
Voraussetzungen
JavaGit
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
70