moving data from cas to data frame (pandas) takes forever . i have binary connection
Personne n'a encore pris cette issue.
Évaluation
- Difficulté
- 4/5
- Temps estimé
- 3-5 jours
- Accessibilité débutants
- 25/100
- Type d'issue
- Bug
- Clarté
- À clarifier
- Activité
- À l'abandon
- Domaine
- data-engineering, performance
Piste de recherche
Commencez par suivre le chemin de indata.to_frame() dans le paquet Python SWAT et examinez comment les résultats de CAS sont transférés vers pandas. Reproduisez le rapport avec un dataset comparable et une connexion binaire, puis déterminez si le délai se situe lors de la récupération des résultats ou de la conversion en DataFrame. Le travail est considéré comme terminé lorsque la cause ainsi qu’une correction ou un workaround pris en charge sont documentés.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Description
I have dataset (2,3 gb) in cas and want to bring to data frame, so I can pandas . this takes more than 30 minutes. we have a large sas viya environment (6 TB cas). i am using a binary connection, so It should work with large(r) data. this is not big data.
command bring data from cas to a data frame.
df= indata.to_frame()
why does this takes forever.
- Langage dominant
- Python
- Étoiles
- 159
- Forks
- 66
- Métriques de merge des PR
- Aucune PR mergée en 30 j
Préparer son environnement
- Aucun Dockerfile ni fichier Docker Compose
- Aucun modèle de pull request
- Lire le guide de contribution
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Autres issues de sassoftware/python-swat
-
Difficulté 4/5 3-5 jours Accessibilité débutants 30/100
sassoftware/python-swat#191 · 1 commentaire ·
-
Error uploading parquet filesOuverte
Difficulté 3/5 1-2 jours Accessibilité débutants 35/100
sassoftware/python-swat#183 · 1 commentaire ·
-
Difficulté 4/5 3-5 jours Accessibilité débutants 25/100
sassoftware/python-swat#180 ·
-
Difficulté 2/5 1-3 heures Accessibilité débutants 35/100
sassoftware/python-swat#178 ·
-
Difficulté 4/5 3-5 jours Accessibilité débutants 25/100
sassoftware/python-swat#177 · 1 commentaire ·
Toutes les issues de sassoftware/python-swat
Issues similaires
-
follow-up needs-triage S3: minor
Difficulté 2/5 1-3 heures Accessibilité débutants 72/100
manaflow-ai/cmux#36856 · 1 commentaire ·
Les mainteneurs répondent en général sous 1 jour
-
documentation good first issue help wanted
Difficulté 1/5 1-3 heures Accessibilité débutants 90/100
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 2/5 1-3 heures Accessibilité débutants 73/100
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 2/5 1-3 heures Accessibilité débutants 78/100
-
Shell framework build fails at "copy the shader libraries": the iOS shader libraries are now one file b-<chain>.imgPeut-être pris @xiaofeng-han l’a pris aujourd’hui. Ouvertebuild ios
Difficulté 2/5 1-3 heures Accessibilité débutants 72/100
Les mainteneurs répondent en général sous 1 jour