Implement integration with hdfs
Los mantenedores suelen responder en 1 día
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Aptitud para principiantes
- 35/100
- Tipo de issue
- Nueva funcionalidad
- Claridad
- Bastante claro
- Estado de actividad
- Estancado
- Stack tecnológico
- kubernetes, rust, spark
- Área
- data-engineering, devops
Línea de trabajo
Comienza localizando la CRD de la aplicación Spark y la configuración de la imagen del trabajo. Sigue cómo se cargan las dependencias del trabajo y cómo se construyen las imágenes de los ejecutores; después, determina dónde debe ubicarse la configuración condicional de namenode. Se considera completado cuando la CRD puede configurar un namenode y los JAR de HDFS necesarios están disponibles para cada ejecutor.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
As a user of the spark-k8s-operator I want to be able to upload job dependencies to a hdfs path
- include namenode in CRD, making this conditional
- include necessary jars in the job image, so that the are available for each executor
- Lenguaje dominante
- Rust
- Estrellas
- 73
- Forks
- 5
- Merge medio
- 9 h 55 min
- PR fusionados (30 d)
- 16
Preparar el entorno
- Sin Dockerfile ni archivo de Docker Compose
- Tiene una plantilla de pull request
- Sin guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de stackabletech/spark-k8s-operator
-
type/bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
stackabletech/spark-k8s-operator#775 ·
Los mantenedores suelen responder en 1 día
-
Pin versions/ranges for spark-connect-client python dependencies using a constraints filePosiblemente ocupada @Maleware la tomó hace 11 días. Abiertotype/bug
stackabletech/spark-k8s-operator#786 · 1 comentario · 1 asignado ·
Los mantenedores suelen responder en 1 día
-
Application driver Pod is not terminated when Spark is OOMKilledPosiblemente ocupada @razvan la tomó hace 21 días. Abiertotype/bug
stackabletech/spark-k8s-operator#780 · 1 asignado ·
Los mantenedores suelen responder en 1 día
-
Dificultad 4/5 3-5 días Aptitud para principiantes 55/100
stackabletech/spark-k8s-operator#774 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
type/bug
Dificultad 4/5 3-5 días Aptitud para principiantes 45/100
stackabletech/spark-k8s-operator#770 ·
Los mantenedores suelen responder en 1 día
Todos los issues de stackabletech/spark-k8s-operator
Issues similares
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 64/100
DayuanJiang/PecoFence#139 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 62/100
nearai/compose-manager#73 ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
akitaonrails/ai-memory#1664 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
Los mantenedores suelen responder en 1 día