Add driver information to the application status
Los mantenedores suelen responder en 1 día
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Aptitud para principiantes
- 35/100
- Tipo de issue
- Nueva funcionalidad
- Claridad
- Bastante claro
- Estado de actividad
- Estancado
- Stack tecnológico
- kubernetes, rust
Línea de trabajo
Comienza rastreando cómo se define y actualiza el estado de SparkApplication y, después, inspecciona cómo se identifica el Kubernetes driver Pod. Revisa la página de documentación de Airflow enlazada y determina qué comportamiento de persistencia de los logs de executor y Spark pod debe documentarse. Se considera terminado cuando el estado expone la referencia al driver y la documentación refleja el comportamiento de logs compatible.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Description
Tools (most notably Airflow) that manage the lifecycle of SparkApplications need to be able to monitor the logs of the application driver.
Currently there is no reference to the driver Pod from the application, which makes the task from above more cumbersome than it should be.
The operator should include such a reference in the SparkApplication status, to enable tools like Airflow's Kubernetes sensor to work out of the box.
Investigate if it's possible to persist logs from k8s executors and spark pods and update the the documentation page accordingly.
- Lenguaje dominante
- Rust
- Estrellas
- 73
- Forks
- 5
- Merge medio
- 9 h 55 min
- PR fusionados (30 d)
- 16
Preparar el entorno
- Sin Dockerfile ni archivo de Docker Compose
- Tiene una plantilla de pull request
- Sin guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de stackabletech/spark-k8s-operator
-
type/bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
stackabletech/spark-k8s-operator#775 ·
Los mantenedores suelen responder en 1 día
-
Pin versions/ranges for spark-connect-client python dependencies using a constraints filePosiblemente ocupada @Maleware la tomó hace 9 días. Abiertotype/bug
stackabletech/spark-k8s-operator#786 · 1 comentario · 1 asignado ·
Los mantenedores suelen responder en 1 día
-
Application driver Pod is not terminated when Spark is OOMKilledPosiblemente ocupada @razvan la tomó hace 19 días. Abiertotype/bug
stackabletech/spark-k8s-operator#780 · 1 asignado ·
Los mantenedores suelen responder en 1 día
-
Dificultad 4/5 3-5 días Aptitud para principiantes 55/100
stackabletech/spark-k8s-operator#774 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
type/bug
Dificultad 4/5 3-5 días Aptitud para principiantes 45/100
stackabletech/spark-k8s-operator#770 ·
Los mantenedores suelen responder en 1 día
Todos los issues de stackabletech/spark-k8s-operator
Issues similares
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 66/100
git-ai-project/git-ai#2434 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 84/100
peteonrails/voxtype#909 ·
Los mantenedores suelen responder en 2 días
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
kucherenko/jscpd#1239 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 69/100
alchemyplatform/rundler#1358 ·
Los mantenedores suelen responder en 3 días