Usage of "private" Spark APIs
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 5/5
- Tiempo estimado
- Más de una semana
- Aptitud para principiantes
- 20/100
- Tipo de issue
- Error
- Claridad
- Necesita aclaración
- Estado de actividad
- Estancado
- Stack tecnológico
- scala, spark
Línea de trabajo
Comienza revisando el uso que hace Frameless de org.apache.spark.sql.catalyst.expressions.objects.StaticInvoke de Spark y las suposiciones de compatibilidad con Spark 2.2 descritas aquí. Compara el comportamiento indicado de Spark 2.2, Spark 2.3 y el runtime de Databricks; el issue solo estará resuelto cuando el proyecto haya decidido cómo gestionar o documentar estas incompatibilidades de la API privada.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Frameless is depending on portions of Spark for which there is no binary compatibility commitment. For example, Frameless uses StaticInvoke, which is part of the org.apache.spark.sql.catalyst.expressions.objects package. If you look at the (bountiful) mima exclusions in Spark, the entire org.apache.spark.sql.catalyst package is not checked for binary compatibility.
I don't really consider this a bug with frameless, but I wanted to at least raise it as a concern as it recently bit us at work.
backstory for those who care
At work we use Databricks runtime 3.5. Databricks claims that this runtime uses Spark 2.2. However, we ran into a bewildering issue with a binary incompatibility between Frameless and the runtime Spark version (related to org.apache.spark.sql.catalyst.expressions.objects.StaticInvoke). After quite a bit of investigation, we realized that the Databricks runtime doesn't actually include Spark 2.2 proper, but a private fork of it that has some incompatible changes. It has a backported change from Spark 2.3 that is incompatible with Spark 2.2 (and the version of Frameless that is built against Spark 2.2). We can work around this particular issue by moving to Spark 2.3 and the Databricks 4.0 runtime, but it's tough to know what other incompatibilities could be lurking in the private forks, and I could envision other people running into similar issues (especially if they can't move to Spark 2.3).
- Lenguaje dominante
- Scala
- Estrellas
- 895
- Forks
- 135
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Preparar el entorno
- Sin Dockerfile ni archivo de Docker Compose
- Sin plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de typelevel/frameless
-
Scala 3 buildsAbiertoenhancement feature help wanted
Dificultad 4/5 3-5 días Aptitud para principiantes 35/100
-
Dificultad 4/5 3-5 días Aptitud para principiantes 35/100
-
Dificultad 3/5 1-2 días Aptitud para principiantes 35/100
-
enhancement feature
Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 30/100
Todos los issues de typelevel/frameless
Issues similares
-
area/map-site bug layer/core size/S
Dificultad 2/5 1-3 horas Aptitud para principiantes 88/100
marola-dev/marola-app#60 ·
Los mantenedores suelen responder en 1 día
-
enhancement help wanted
Dificultad 2/5 1-3 horas Aptitud para principiantes 85/100
lambdaworks/zio-elasticsearch#863 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 1/5 Menos de una hora Aptitud para principiantes 90/100
Los mantenedores suelen responder en 1 día
-
Iceberg data tables whose names end with a metadata-table name fall back to SparkPosiblemente ocupada @aryan9948 la tomó hoy. Abiertorequires-triage
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
apache/datafusion-comet#6719 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 65/100
lichess-org/lila#21971 · 2 comentarios ·
Los mantenedores suelen responder en 1 día