Pipeline representation and relationship betwen KFP/Vertex AI Pipelines and TFX
@jeelania10 がすでに取り組んでいます。
2026年8月12日 から。
評価
この issue はまだ評価されていません。
説明
If the feature is related to a specific library below, please raise an issue in
the respective repo directly:
TensorFlow Data Validation Repo
TensorFlow Model Analysis Repo
System information
- TFX Version (you are using):
- Environment in which you plan to use the feature (e.g., Local
(Linux/MacOS/Windows), Interactive Notebook, Google Cloud, etc..): - Are you willing to contribute it (Yes/No):
Describe the feature and the current behavior/state.
Today, TFX pipelines have to be compiled to kubeflow pipelines to run on vertex. We should also support the other direction, taking kubeflow pipelines (e.g. pipeline spec/yaml representation) and converting them to a representation runnable by the tfx runner.
Once we have this working, we should enable vertex ai pipelines to be a runner for TFX pipelines natively. The reason for this is it is quite complex to build these pipelines without kubernetes knowhow. If we can build that bridge, and support jax, we can make it a lot easier to build large scale ML pipelines using re-usable components in a way that doesn't require knowledge/expertise of the underlying infrastructure.
Will this change the current API? How?
TFX would get a transpiler for kubeflow pipelines that use TFX components.
For the second step (which cannot be implemented as part of this project, but part of vertex ai pipelines), vertex ai pipelines would become a runner for TFX pipelines directly without having to go through the KFP route.
Who will benefit with this feature?
ML practitioners who do now want to deal with the infrastructure complexity. It would be a similar model to dataflow, write one pipeline, run it anywhere. Implementing this would improve the bridge between TFX and KFP, which today is quite brittle.
Do you have a workaround or are completely blocked by this? :
I have kubernetes infrastructure and knowhow, so I'm not blocked by this.
Name of your Organization (Optional)
Intuitive.ai
Any Other info.
- 主要言語
- Python
- スター
- 2.2k
- フォーク
- 727
- PR マージ指標
- 30日以内にマージされた PR はありません
環境構築
- Dockerfile・Docker Compose ファイルなし
- プルリクエストのテンプレートなし
- コントリビューションガイドを読む
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
tensorflow/tfx のほかの issue
-
Penguin simple tutorial fails with Keras 3 at model.save(..., save_format='tf')対応中かも @jeelania10 が 6 日前に担当しました。 オープンstat:awaiting response type:docs
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
tensorflow/tfx#7919 · コメント 1 件 · 担当者 1 名 ·
-
Different artifact type names across execution environments対応中かも @jeelania10 が 90 日前に担当しました。 オープンstat:awaiting tensorflower type:bug
tensorflow/tfx#7849 · コメント 2 件 · 担当者 1 名 ·
-
Roadmap for TensorFlow Extended再び着手できるかも @jeelania10 が 90 日前に担当しましたが、オープン中のプルリクエストはありません。 オープンstat:awaiting tensorflower type:feature
tensorflow/tfx#7788 · コメント 24 件 · リアクション 6 件 · 担当者 1 名 ·
-
Support Python 3.11再び着手できるかも @bharatjetti が 366 日前に担当しましたが、オープン中のプルリクエストはありません。 オープンstat:contributions welcome type:feature
tensorflow/tfx#7743 · コメント 5 件 · 担当者 1 名 ·
-
Documentation for custom artifact in Vertex AI再び着手できるかも @lego0901 が 1202 日前に担当しましたが、オープン中のプルリクエストはありません。 オープンstat:awaiting tensorflower type:docs
tensorflow/tfx#6102 · コメント 2 件 · 担当者 1 名 ·
似ている issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
メンテナーはふだん 1 日以内に返信
-
bug z-test-failure
難易度 2/5 1〜3時間 初心者へのやさしさ 84/100
torch-spyre/spyre-inference#1598 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100
zilliztech/memsearch#853 ·
メンテナーはふだん 1 日以内に返信
-
IPA charactersオープン
難易度 2/5 1〜3時間 初心者へのやさしさ 66/100
tywr/Nordwand-Mono#55 ·
メンテナーはふだん 1 日以内に返信
-
physical
難易度 2/5 1〜3時間 初心者へのやさしさ 74/100
antonyrag/ragleap-core#1339 ·