Error when upserting and updating dataframes with dictionary encoded columns

Abierto
#3,835 0 comentarios 0 reacciones 0 asignados Ver en GitHub

Nadie ha tomado este issue todavía.

Evaluación

Dificultad
3/5
Tiempo estimado
1-2 días
Aptitud para principiantes
50/100
Tipo de issue
Error
Claridad
Bastante claro
Estado de actividad
Activo
Stack tecnológico
python
Área
databases

Línea de trabajo

Comienza reproduciendo el problema con pyarrow.read_table(read_dictionary=[string_columns]) y una tabla cargada desde catalog.load_table(table_name). Compara table.append(df), table.upsert(df, join_cols=[primary_keys]) y table.update(df, join_cols=[primary_keys]); se considera terminado cuando upsert y update manejan columnas codificadas como dictionary sin el error Invalid Type Dictionary reportado.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

Apache Iceberg version

0.9.1

Please describe the bug 🐞

df = pyarrow.read_table(read_dictionary=[string_columns])

table = catalog.load_table(table_name)

table.append(df) -> 'append' casts dictionary columns into large string and table appended without any error

table.upsert(df, join_cols=[primary_keys]) -> Error (Invalid Type Dictionary)
table.update(df, join_cols=[primary_keys]) -> Error (Invalid Type Dictionary)

Willingness to contribute
  • I can contribute a fix for this bug independently
  • I would be willing to contribute a fix for this bug with guidance from the Iceberg community
  • I cannot contribute a fix for this bug at this time
Lenguaje dominante
Python
Estrellas
1.1k
Forks
589
Merge medio
2 d 4 h
PR fusionados (30 d)
72

Guía de contribución

No hay ninguna guía de contribución indexada para este repositorio

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de apache/iceberg-python

Todos los issues de apache/iceberg-python

Issues similares

Más issues de Python

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.