moving data from cas to data frame (pandas) takes forever . i have binary connection
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Aptitud para principiantes
- 25/100
- Tipo de issue
- Error
- Claridad
- Necesita aclaración
- Estado de actividad
- Estancado
- Área
- data-engineering, performance
Línea de trabajo
Comienza siguiendo la ruta de indata.to_frame() en el paquete Python SWAT y revisa cómo se transfieren los resultados de CAS a pandas. Reproduce el informe con un dataset comparable y una conexión binaria; después, identifica si el retraso se produce al recuperar los resultados o durante la conversión a DataFrame. Se considera terminado cuando estén documentados la causa y una corrección o workaround compatible.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
I have dataset (2,3 gb) in cas and want to bring to data frame, so I can pandas . this takes more than 30 minutes. we have a large sas viya environment (6 TB cas). i am using a binary connection, so It should work with large(r) data. this is not big data.
command bring data from cas to a data frame.
df= indata.to_frame()
why does this takes forever.
- Lenguaje dominante
- Python
- Estrellas
- 159
- Forks
- 66
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Preparar el entorno
- Sin Dockerfile ni archivo de Docker Compose
- Sin plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de sassoftware/python-swat
-
Dificultad 4/5 3-5 días Aptitud para principiantes 30/100
sassoftware/python-swat#191 · 1 comentario ·
-
Error uploading parquet filesAbierto
Dificultad 3/5 1-2 días Aptitud para principiantes 35/100
sassoftware/python-swat#183 · 1 comentario ·
-
Dificultad 4/5 3-5 días Aptitud para principiantes 25/100
sassoftware/python-swat#180 ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 35/100
sassoftware/python-swat#178 ·
-
Dificultad 4/5 3-5 días Aptitud para principiantes 25/100
sassoftware/python-swat#177 · 1 comentario ·
Todos los issues de sassoftware/python-swat
Issues similares
-
fuzz fuzz-unconfirmed
Dificultad 2/5 1-3 horas Aptitud para principiantes 70/100
Los mantenedores suelen responder en 1 día
-
ready-for-agent
Dificultad 2/5 1-3 horas Aptitud para principiantes 86/100
neilsh/stunt-reel#220 ·
Los mantenedores suelen responder en 1 día
-
[Issue]: use_fp4_cache is accepted but ignored; the launcher always writes FP8 recordsPosiblemente ocupada @0z5a la tomó hoy. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
Los mantenedores suelen responder en 1 día
-
area: cli priority: p3 size: S type: bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 83/100
finos/open-resource-broker#757 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 65/100
Los mantenedores suelen responder en 6 días