Add additional Spark Properties via Configmap
Los mantenedores suelen responder en 1 día
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 3/5
- Tiempo estimado
- 1-2 días
- Aptitud para principiantes
- 35/100
- Tipo de issue
- Nueva funcionalidad
- Claridad
- Bastante claro
- Estado de actividad
- Estancado
- Stack tecnológico
- kubernetes, rust, spark
- Área
- data-engineering, devops, infrastructure
Línea de trabajo
Empieza rastreando cómo el operator construye el comando spark-submit y gestiona la configuración de SparkApplication. Añade una ruta basada en ConfigMap para propiedades de Spark compartidas sin entrar en conflicto con el argumento properties-file existente ni con el montaje /opt/spark/conf. Se considera terminado cuando varias SparkApplications puedan reutilizar las mismas propiedades, incluidos los ajustes de Kerberos.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
As a user I want to be able to pass spark properties, which might be the same over multiple sparkApplications (e.g. kerberos settings), via a configmap to the spark-submit command. Using this, I save effort and complexity repeatedly defining the same spark properties over and over when writing sparkApplications.
I tried to do some hacks to mock this behavior with mounting a spark-defaults.conf (which won't work because the spark-driver already mounts on /opt/spark/conf and thus I can't mount it there because the location is not unique) or passing a --properties-file (which also does not work because a --properties-file is already passed inherently)
- Lenguaje dominante
- Rust
- Estrellas
- 73
- Forks
- 5
- Merge medio
- 2 d 14 h
- PR fusionados (30 d)
- 13
Preparar el entorno
- Sin Dockerfile ni archivo de Docker Compose
- Tiene una plantilla de pull request
- Sin guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de stackabletech/spark-k8s-operator
-
type/bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
stackabletech/spark-k8s-operator#775 ·
Los mantenedores suelen responder en 1 día
-
Application driver Pod is not terminated when Spark is OOMKilledPosiblemente ocupada @razvan la tomó hace 7 días. Abiertotype/bug
stackabletech/spark-k8s-operator#780 · 1 asignado ·
Los mantenedores suelen responder en 1 día
-
Dificultad 4/5 3-5 días Aptitud para principiantes 55/100
stackabletech/spark-k8s-operator#774 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
type/bug
Dificultad 4/5 3-5 días Aptitud para principiantes 45/100
stackabletech/spark-k8s-operator#770 ·
Los mantenedores suelen responder en 1 día
-
type/bug
Dificultad 3/5 1-2 días Aptitud para principiantes 55/100
stackabletech/spark-k8s-operator#762 ·
Los mantenedores suelen responder en 1 día
Todos los issues de stackabletech/spark-k8s-operator
Issues similares
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 62/100
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 66/100
Los mantenedores suelen responder en 5 días
-
✨ enhancement needs-discussion
Dificultad 1/5 Menos de una hora Aptitud para principiantes 85/100
-
virtio-fs (Linux passthrough): debug log in do_lookup panics the fs worker on non-UTF-8 file namesPosiblemente ocupada @zcl-g5 la tomó hoy. Abierto
Dificultad 1/5 Menos de una hora Aptitud para principiantes 85/100
Los mantenedores suelen responder en 2 días
-
docs(openclaw): RTK_REWRITE_HOST relaxes every default ask, not only commands no rule matchedAbiertoarea:docs documentation good first issue priority:low
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
rtk-ai/rtk#4500 · 1 comentario ·
Los mantenedores suelen responder en 1 día