Spark Connector Dependency Conflicts
Los mantenedores suelen responder en 4 días
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Aptitud para principiantes
- 42/100
- Tipo de issue
- Nueva funcionalidad
- Claridad
- Bastante claro
- Estado de actividad
- Estancado
- Stack tecnológico
- java, spark
- Área
- data-engineering
Línea de trabajo
Inspecciona primero la configuración de build y dependencias del conector de Spark y, después, reproduce cómo se comporta su JAR cuando se envía sin --packages. Se considera completado cuando el JAR del conector incluye sus dependencias necesarias y aplica shading a las dependencias que entran en conflicto con Spark, incluida la superposición de logging de Apache mencionada; verifica el artefacto empaquetado en un despliegue con aislamiento de red.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Is your feature request related to a problem? Please describe.
-
The current spark connector does not include all dependencies in the JAR. This results in having to use
--packagesto define the Maven artifactId to pull in the dependencies atsubmit. This creates issues for air-gapped environments which requires mirroring all dependencies. -
There is a potential conflict between Spark versions and the Apache logging dependency and the dependency used by the Spark connector.
Describe the solution you would like
I suggest we build the spark connector to include all dependencies as well as shading the deps that overlap with Spark, simplifying spark deployment.
- Lenguaje dominante
- Java
- Estrellas
- 3.6k
- Forks
- 687
- Merge medio
- 4 d 21 h
- PR fusionados (30 d)
- 48
Preparar el entorno
- Incluye un Dockerfile o un archivo de Docker Compose
- Tiene una plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de unitycatalog/unitycatalog
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
unitycatalog/unitycatalog#2025 ·
Los mantenedores suelen responder en 4 días
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
unitycatalog/unitycatalog#1744 ·
Los mantenedores suelen responder en 4 días
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
unitycatalog/unitycatalog#1679 ·
Los mantenedores suelen responder en 4 días
-
Flaky python-client-tests CI: coursier OverlappingFileLockException during sbt updatePosiblemente ocupada @niruta25 la tomó hace 187 días. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
unitycatalog/unitycatalog#1496 · 1 comentario ·
Los mantenedores suelen responder en 4 días
-
Remove the duplicate UC properties setting for both `key` and `option.key`.Posiblemente ocupada @niruta25 la tomó hace 206 días. Abierto
Dificultad 1/5 Menos de una hora Aptitud para principiantes 78/100
unitycatalog/unitycatalog#1356 · 1 comentario ·
Los mantenedores suelen responder en 4 días
Todos los issues de unitycatalog/unitycatalog
Issues similares
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 70/100
NationalSecurityAgency/ghidra#9997 · 2 comentarios ·
Los mantenedores suelen responder en 2 días
-
[Bug] DefaultSerializationExceptionWrapper does not implement Cleanable, so cleanup() is never invoked by codecsPosiblemente ocupada @binbin0325 la tomó hoy. Abiertocomponent/need-triage type/need-triage
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
Los mantenedores suelen responder en 1 día
-
2026 Error Report
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
triplea-game/triplea#15096 ·
Los mantenedores suelen responder en 1 día
-
[Bug][API] Switching workflow versions leaves schedules onlinePosiblemente ocupada @zhuangchong la tomó hoy. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
apache/dolphinscheduler#18731 ·
Los mantenedores suelen responder en 1 día