Pipeline representation and relationship betwen KFP/Vertex AI Pipelines and TFX
@jeelania10 ya está trabajando en esto.
Desde el 12/8/2026.
Evaluación
Este issue todavía no se ha evaluado.
Descripción
If the feature is related to a specific library below, please raise an issue in
the respective repo directly:
TensorFlow Data Validation Repo
TensorFlow Model Analysis Repo
System information
- TFX Version (you are using):
- Environment in which you plan to use the feature (e.g., Local
(Linux/MacOS/Windows), Interactive Notebook, Google Cloud, etc..): - Are you willing to contribute it (Yes/No):
Describe the feature and the current behavior/state.
Today, TFX pipelines have to be compiled to kubeflow pipelines to run on vertex. We should also support the other direction, taking kubeflow pipelines (e.g. pipeline spec/yaml representation) and converting them to a representation runnable by the tfx runner.
Once we have this working, we should enable vertex ai pipelines to be a runner for TFX pipelines natively. The reason for this is it is quite complex to build these pipelines without kubernetes knowhow. If we can build that bridge, and support jax, we can make it a lot easier to build large scale ML pipelines using re-usable components in a way that doesn't require knowledge/expertise of the underlying infrastructure.
Will this change the current API? How?
TFX would get a transpiler for kubeflow pipelines that use TFX components.
For the second step (which cannot be implemented as part of this project, but part of vertex ai pipelines), vertex ai pipelines would become a runner for TFX pipelines directly without having to go through the KFP route.
Who will benefit with this feature?
ML practitioners who do now want to deal with the infrastructure complexity. It would be a similar model to dataflow, write one pipeline, run it anywhere. Implementing this would improve the bridge between TFX and KFP, which today is quite brittle.
Do you have a workaround or are completely blocked by this? :
I have kubernetes infrastructure and knowhow, so I'm not blocked by this.
Name of your Organization (Optional)
Intuitive.ai
Any Other info.
- Lenguaje dominante
- Python
- Estrellas
- 2.2k
- Forks
- 727
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Preparar el entorno
- Sin Dockerfile ni archivo de Docker Compose
- Sin plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de tensorflow/tfx
-
Penguin simple tutorial fails with Keras 3 at model.save(..., save_format='tf')Posiblemente ocupada @jeelania10 la tomó hace 4 días. Abiertostat:awaiting response type:docs
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
tensorflow/tfx#7919 · 1 comentario · 1 asignado ·
-
Different artifact type names across execution environmentsPosiblemente ocupada @jeelania10 la tomó hace 89 días. Abiertostat:awaiting tensorflower type:bug
tensorflow/tfx#7849 · 2 comentarios · 1 asignado ·
-
Roadmap for TensorFlow ExtendedQuizá libre de nuevo @jeelania10 la tomó hace 89 días y no hay ningún pull request abierto. Abiertostat:awaiting tensorflower type:feature
tensorflow/tfx#7788 · 24 comentarios · 6 reacciones · 1 asignado ·
-
Support Python 3.11Quizá libre de nuevo @bharatjetti la tomó hace 364 días y no hay ningún pull request abierto. Abiertostat:contributions welcome type:feature
tensorflow/tfx#7743 · 5 comentarios · 1 asignado ·
-
Documentation for custom artifact in Vertex AIQuizá libre de nuevo @lego0901 la tomó hace 1201 días y no hay ningún pull request abierto. Abiertostat:awaiting tensorflower type:docs
tensorflow/tfx#6102 · 2 comentarios · 1 asignado ·
Todos los issues de tensorflow/tfx
Issues similares
-
`destroy` sans terminal répond « Aborted. » au lieu de réclamer `--yes` comme `clean` et `reset`Abiertobug
Dificultad 2/5 1-3 horas Aptitud para principiantes 85/100
stephrobert/dsoxlab#354 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 77/100
jasonacox/pypowerwall#472 ·
Los mantenedores suelen responder en 1 día
-
[Bug]: DoubleMLRDDData accepts a score_col that is no data column (as in its docstring example); the running variable then becomes a covariate and RDFlex failsPosiblemente ocupada @vrjdev la tomó hoy. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
DoubleML/doubleml-for-py#455 ·
Los mantenedores suelen responder en 1 día
-
[Bug]: Python mod.Box[T] annotation gets a false generic_arg edge that replaces the parameter_type one ('is' on tree-sitter nodes)Posiblemente ocupada @rohit-jsfreaky la tomó hoy. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 88/100
Graphify-Labs/graphify#5110 · 1 comentario ·
Los mantenedores suelen responder en 2 días
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
assafelovic/gpt-researcher#2277 ·
Los mantenedores suelen responder en 10 días