moving data from cas to data frame (pandas) takes forever . i have binary connection

未關閉
#135 1 則留言 0 個 reaction 已指派 0 人 在 GitHub 檢視

還沒有人認領這個 Issue。

評估

難度
4/5
預估耗時
3-5 天
新手友好度
25/100
Issue 類型
缺陷
描述清晰度
需要釐清
活躍度
停滯
技術堆疊
pandas, python

研究方向

先追蹤 Python SWAT 套件中的 indata.to_frame() 路徑,並檢視 CAS 結果如何傳輸至 pandas。使用可比較的資料集和二進位連線重現報告,然後確認延遲是在結果擷取過程中,還是在 DataFrame 轉換過程中發生。完成的標準是記錄原因以及受支援的修正或因應措施。

由索引模型根據 Issue 內容生成。

描述

I have dataset (2,3 gb) in cas and want to bring to data frame, so I can pandas . this takes more than 30 minutes. we have a large sas viya environment (6 TB cas). i am using a binary connection, so It should work with large(r) data. this is not big data.

command bring data from cas to a data frame.
df= indata.to_frame()

why does this takes forever.

主要語言
Python
星號
159
分支
66
PR 合併指標
30 天內沒有已合併 PR

環境準備

  • 沒有 Dockerfile 或 Docker Compose 檔案
  • 沒有 Pull Request 範本
  • 閱讀貢獻指南

從這裡開始

  1. 先讀完整個 Issue,再讀專案的貢獻指南。
  2. 在 Issue 下留言說明你要接手 —— 這能避免兩個人做同樣的事。
  3. Fork 儲存庫,在一個分支上完成修改。
  4. 送出 Pull Request,並在描述裡引用這個 Issue 編號。

sassoftware/python-swat 的其他 Issue

查看 sassoftware/python-swat 的全部 Issue

相似的 Issue

更多 Python Issue

把新 issue 寄到你的電子郵件信箱

精選適合新手參與的 GitHub issue 摘要。