Iceberg jobs with with Hive 4.0.1 failure
Los mantenedores suelen responder en 1 día
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Aptitud para principiantes
- 35/100
- Tipo de issue
- Error
- Claridad
- Bastante claro
- Estado de actividad
- Estancado
- Stack tecnológico
- kubernetes
Línea de trabajo
En el issue no se menciona ningún archivo ni prueba. Empieza reproduciendo un trabajo de Spark que escriba datos de Iceberg mediante el catálogo Hive 4.0.1 y rastrea la dependencia de tiempo de ejecución o la configuración de Spark Iceberg implicada. Se considera terminado cuando el trabajo escribe correctamente sin que se produzca el error de Thrift Invalid method name: 'get_table'.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Affected Stackable version
all supported
Affected Apache Spark-on-Kubernetes version
No response
Current and expected behavior
Hive 4.0.1 has removed some deprecated apis but the spark iceberg runtime has not been updated.
Spark jobs using the Hive 4.0.1 catalog to write using the iceberg format will fail with the error message:
spark Caused by: org.apache.thrift.TApplicationException: Invalid method name: 'get_table'
Discovered during the upgrade of the anomaly detection demo.
Possible solution
No response
Additional context
No response
Environment
No response
Would you like to work on fixing this bug?
None
- Lenguaje dominante
- Rust
- Estrellas
- 73
- Forks
- 5
- Merge medio
- 9 h 55 min
- PR fusionados (30 d)
- 16
Preparar el entorno
- Sin Dockerfile ni archivo de Docker Compose
- Tiene una plantilla de pull request
- Sin guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de stackabletech/spark-k8s-operator
-
type/bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
stackabletech/spark-k8s-operator#775 ·
Los mantenedores suelen responder en 1 día
-
Pin versions/ranges for spark-connect-client python dependencies using a constraints filePosiblemente ocupada @Maleware la tomó hace 9 días. Abiertotype/bug
stackabletech/spark-k8s-operator#786 · 1 comentario · 1 asignado ·
Los mantenedores suelen responder en 1 día
-
Application driver Pod is not terminated when Spark is OOMKilledPosiblemente ocupada @razvan la tomó hace 19 días. Abiertotype/bug
stackabletech/spark-k8s-operator#780 · 1 asignado ·
Los mantenedores suelen responder en 1 día
-
Dificultad 4/5 3-5 días Aptitud para principiantes 55/100
stackabletech/spark-k8s-operator#774 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
type/bug
Dificultad 4/5 3-5 días Aptitud para principiantes 45/100
stackabletech/spark-k8s-operator#770 ·
Los mantenedores suelen responder en 1 día
Todos los issues de stackabletech/spark-k8s-operator
Issues similares
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 66/100
git-ai-project/git-ai#2434 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 84/100
peteonrails/voxtype#909 ·
Los mantenedores suelen responder en 2 días
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
kucherenko/jscpd#1239 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 69/100
alchemyplatform/rundler#1358 ·
Los mantenedores suelen responder en 3 días