moving data from cas to data frame (pandas) takes forever . i have binary connection
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức phù hợp với người mới
- 25/100
- Loại issue
- Lỗi
- Độ rõ ràng
- Cần làm rõ
- Mức độ hoạt động
- Đình trệ
- Lĩnh vực
- data-engineering, performance
Hướng nghiên cứu
Bắt đầu bằng cách lần theo đường dẫn indata.to_frame() trong gói Python SWAT và xem xét cách các kết quả CAS được chuyển vào pandas. Tái hiện báo cáo với một dataset tương đương và kết nối nhị phân, sau đó xác định liệu độ trễ nằm ở việc truy xuất kết quả hay ở quá trình chuyển đổi DataFrame. Công việc được xem là hoàn tất khi nguyên nhân và một bản sửa lỗi hoặc workaround được hỗ trợ đã được ghi lại.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
I have dataset (2,3 gb) in cas and want to bring to data frame, so I can pandas . this takes more than 30 minutes. we have a large sas viya environment (6 TB cas). i am using a binary connection, so It should work with large(r) data. this is not big data.
command bring data from cas to a data frame.
df= indata.to_frame()
why does this takes forever.
- Ngôn ngữ chính
- Python
- Star
- 159
- Fork
- 66
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Chuẩn bị môi trường
- Không có Dockerfile hay tệp Docker Compose
- Không có mẫu pull request
- Đọc hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của sassoftware/python-swat
-
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 30/100
sassoftware/python-swat#191 · 1 bình luận ·
-
Error uploading parquet filesĐang mở
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 35/100
sassoftware/python-swat#183 · 1 bình luận ·
-
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 25/100
sassoftware/python-swat#180 ·
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 35/100
sassoftware/python-swat#178 ·
-
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 25/100
sassoftware/python-swat#177 · 1 bình luận ·
Tất cả issue của sassoftware/python-swat
Issue tương tự
-
community enhancement good first issue
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 86/100
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 77/100
Hochfrequenz/sapgui.mcp#1039 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 88/100
didi/helixharness#18 ·
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100
Maintainer thường phản hồi trong vòng 1 ngày
-
API /search : typer la réponseĐang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 68/100
dataforgoodfr/democracy-watch#46 · 1 reaction ·