moving data from cas to data frame (pandas) takes forever . i have binary connection

Offen
  • Stimmt etwas nicht?
#135 1 Kommentar 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen

Dieses Issue hat noch niemand übernommen.

Bewertung

Schwierigkeit
4/5
Geschätzter Aufwand
3-5 Tage
Anfängerfreundlichkeit
25/100
Issue-Typ
Bug
Klarheit
Muss geklärt werden
Aktivitätsstatus
Veraltet
Tech-Stack
pandas, python
Bereich
data-engineering, performance

Rechercherichtung

Beginne damit, den Pfad von indata.to_frame() im Python-SWAT-Paket nachzuverfolgen, und überprüfe, wie CAS-Ergebnisse in pandas übertragen werden. Reproduziere den Bericht mit einem vergleichbaren Dataset und einer binären Verbindung und ermittle anschließend, ob die Verzögerung beim Abruf der Ergebnisse oder bei der DataFrame-Konvertierung auftritt. Als erledigt gilt die Aufgabe, wenn die Ursache und eine unterstützte Behebung oder ein unterstützter Workaround dokumentiert sind.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Beschreibung

I have dataset (2,3 gb) in cas and want to bring to data frame, so I can pandas . this takes more than 30 minutes. we have a large sas viya environment (6 TB cas). i am using a binary connection, so It should work with large(r) data. this is not big data.

command bring data from cas to a data frame.
df= indata.to_frame()

why does this takes forever.

Vorherrschende Sprache
Python
Sterne
159
Forks
66
Keine gemergten PRs in 30 T.

Entwicklungsumgebung

Erste Schritte

  1. Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
  2. Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
  3. Forken Sie das Repository und arbeiten Sie in einem Branch.
  4. Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.

Mehr aus sassoftware/python-swat

Alle Issues in sassoftware/python-swat

Ähnliche Issues

Weitere Issues zu Python

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.