moving data from cas to data frame (pandas) takes forever . i have binary connection

Aperta
  • Qualcosa non va?
#135 1 commento 0 reazioni 0 assegnatari Vedi su GitHub

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
4/5
Tempo stimato
3-5 giorni
Idoneità per principianti
25/100
Tipo di issue
Bug
Chiarezza
Da chiarire
Stato di attività
Ferma
Stack tecnologico
pandas, python
Ambito
data-engineering, performance

Direzione di ricerca

Inizia tracciando il percorso di indata.to_frame() nel pacchetto Python SWAT e verifica come i risultati CAS vengono trasferiti in pandas. Riproduci il problema segnalato con un dataset comparabile e una connessione binaria, quindi identifica se il ritardo si verifica durante il recupero dei risultati o la conversione in DataFrame. Il lavoro è completo quando sono documentati la causa e una correzione o un workaround supportato.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

I have dataset (2,3 gb) in cas and want to bring to data frame, so I can pandas . this takes more than 30 minutes. we have a large sas viya environment (6 TB cas). i am using a binary connection, so It should work with large(r) data. this is not big data.

command bring data from cas to a data frame.
df= indata.to_frame()

why does this takes forever.

Lingua principale
Python
Stelle
159
Fork
66
Nessuna PR unita negli ultimi 30g

Preparare l'ambiente

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di sassoftware/python-swat

Tutte le issue di sassoftware/python-swat

Issue simili

Altre issue su Python

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.