[DSIP-100][Api Worker] Generic Third-party System API Connector for REST-based Task Scheduling
メンテナーはふだん 1 日以内に返信
評価
この issue はまだ評価されていません。
説明
Search before asking
- I had searched in the issues and found no similar feature requirement.
Description
Propose a Generic Third-party System API Connector to enable DolphinScheduler to schedule tasks on any external system via REST APIs.
Currently, DS lacks a unified way to integrate with systems like SeaTunnel, Flink Session, or custom platforms that expose task control via RESTful interfaces. This feature would provide a configurable framework (managing endpoints for auth, task list, start, status, stop) instead of requiring custom plugins for each system, greatly expanding DS's scheduling capabilities.
Use case
As a DS administrator or user,
I want to register an external system (e.g., company's customized SeaTunnel system) or other by providing its base URL, authentication, and specific API endpoints (to list, start, check status, and stop tasks),
So that I can easily select and schedule that system's tasks directly within a DolphinScheduler workflow.
The expected behavior is:
1、In the DS UI, I can add a new "Third-party System" config for our SeaTunnel server's API.
2、When building a workflow, I can choose the "Generic API Task" type, select the registered "SeaTunnel" system, and see a dropdown list of available jobs fetched from its API.
3、Upon selecting a job and running the workflow, DS automatically calls the start API, polls the status API until completion, and reflects the final status (success/failure) in DS.
4、I can also manually stop the task from DS, which triggers the stop API call to the external system.
This will allow us to use DS as a unified scheduler for many API-based tools without waiting for specific plugin development.
Related issues
No response
Are you willing to submit a PR?
- Yes I am willing to submit a PR!
Code of Conduct
- I agree to follow this project's Code of Conduct
- 主要言語
- Java
- スター
- 14.5k
- フォーク
- 5.1k
- 平均マージ
- 2日 10時間
- マージ済み PR（30日）
- 22
環境構築
- Dockerfile・Docker Compose ファイルなし
- プルリクエストのテンプレートあり
- コントリビューションガイドを読む
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
apache/dolphinscheduler のほかの issue
-
[Bug][API] Switching workflow versions leaves schedules online対応中かも @zhuangchong が今日担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
apache/dolphinscheduler#18731 ·
メンテナーはふだん 1 日以内に返信
-
[Bug] Switching workflow versions can scan all task definition logs対応中かも @zhuangchong が今日担当しました。 オープン
難易度 3/5 半日 初心者へのやさしさ 68/100
apache/dolphinscheduler#18733 ·
メンテナーはふだん 1 日以内に返信
-
[Feature][Datasource] Support Kyuubi three-segment JDBC URL syntax (<sessionVars>?<hiveVars>#<kyuubiVars>) in Kyuubi datasource plugin対応中かも @silvermissile が 2 日前に担当しました。 オープンbackend feature
apache/dolphinscheduler#18725 · 担当者 1 名 ·
メンテナーはふだん 1 日以内に返信
-
[Improvement][Worker-SqlTask] Make the default query row limit (QUERY_LIMIT = 10000) configurable対応中かも @njnu-seafish が 10 日前に担当しました。 オープンbackend improvement UI
apache/dolphinscheduler#18702 · 担当者 1 名 ·
メンテナーはふだん 1 日以内に返信
-
[Improvement][APIServer][3.4.3] Task Instance page data loading time out.対応中かも @karthikeya-tummala が 10 日前に担当しました。 オープンbackend good first issue improvement
apache/dolphinscheduler#18700 · コメント 6 件 · 担当者 1 名 ·
メンテナーはふだん 1 日以内に返信
apache/dolphinscheduler の issue をすべて見る
似ている issue
-
dev/release: verify-release-candidate.sh runs 0 Java tests with Debian's Maven対応中かも @kou が今日担当しました。 オープンType: bug
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
apache/arrow-adbc#4947 ·
メンテナーはふだん 1 日以内に返信
-
bug
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
lysine-dev/okhttp#9814 ·
メンテナーはふだん 1 日以内に返信
-
bug
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
メンテナーはふだん 1 日以内に返信
-
1.20.1-FORGE bug
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
MehVahdJukaar/WoodGood#1348 ·
-
documentation faq
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100