pandas None/NaN mappings
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 3/5
- Tiempo estimado
- 1-2 días
- Aptitud para principiantes
- 35/100
Línea de trabajo
Comienza en el punto de entrada write_dataframe y reproduce el problema con columnas de pandas de tipo object, nullable Int64 y float64 que contengan None o NaN. Traza cómo se convierte cada valor ausente antes de llegar a Redshift; se considera terminado cuando el comportamiento es coherente con la asignación prevista a NULL y existe cobertura para los tres tipos de columna indicados.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
I'm using write_dataframe function to write a pandas DataFrame. My context is that this dataframe containts columns of three different types:
- Object (string) in pandas has None as missing data
- Int64 in pandas has np.nan as missing data
- Floats64 in pandas has np.nan as missing data
When writing to Redshift, these values are converted as such:
- None as NULL using varchar(20) with bytedict encoding
- NaN as -9223372036854775808 using BIGINT with az64 encoding
- NaN as "NaN" using DOUBLE PRECISION with RAW encoding
When I try to query using SQL, based on the column, I have to filter with:
- IS NULL
- = -9223372036854775808
- ::text = "NaN"
Is this intended? I wish to map all None/NaN values of pandas into NULL values. Is this possible?
- Lenguaje dominante
- Python
- Estrellas
- 220
- Forks
- 88
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Preparar el entorno
- Sin Dockerfile ni archivo de Docker Compose
- Tiene una plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de aws/amazon-redshift-python-driver
-
docs: client_protocol_version missing from Connection Parameters tablePosiblemente ocupada @reginaldalfret la tomó hace 2 días. Abierto
Dificultad 1/5 1-3 horas Aptitud para principiantes 74/100
-
Dificultad 4/5 3-5 días Aptitud para principiantes 30/100
aws/amazon-redshift-python-driver#268 · 2 reacciones ·
-
Dificultad 4/5 3-5 días Aptitud para principiantes 35/100
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100
aws/amazon-redshift-python-driver#265 · 1 comentario · 4 reacciones ·
-
VARBYTE is decoded into utf-8Abierto
Dificultad 3/5 1-2 días Aptitud para principiantes 45/100
Todos los issues de aws/amazon-redshift-python-driver
Issues similares
-
json_params_matcher fails on falsy top-level JSON primitives (0, False, "")Posiblemente ocupada @mayureshsonawane17 la tomó hoy. AbiertoWaiting for: Product Owner
Dificultad 2/5 1-3 horas Aptitud para principiantes 84/100
Los mantenedores suelen responder en 5 días
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
Los mantenedores suelen responder en 1 día
-
第二章思考题 8：Skill 追加到末尾不必每轮重新计算 KVAbierto
Dificultad 1/5 Menos de una hora Aptitud para principiantes 88/100
bojieli/ai-agent-book#1169 ·
Los mantenedores suelen responder en 1 día
-
priority:low ready-for-dev
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
OpenHands/extensions#738 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 85/100
micronaut-projects/micronaut-core#13677 ·
Los mantenedores suelen responder en 1 día