Pandas Ran out of memory again!
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức phù hợp với người mới
- 35/100
- Loại issue
- Lỗi
- Độ rõ ràng
- Cần làm rõ
- Mức độ hoạt động
- Đình trệ
- Công nghệ
- docker, kubernetes, pandas, python
- Lĩnh vực
- data-engineering, infrastructure, testing
Hướng nghiên cứu
Lệnh kiểm thử hiện tại nằm trong k8/images/pandas/Dockerfile ở dòng 40; hãy so sánh lệnh này với script test-fast của Pandas và kiểm tra những kiểm thử hoặc flag nào có mức sử dụng bộ nhớ cao được bao gồm. Đo mức sử dụng bộ nhớ của bộ kiểm thử được trace trong Kubernetes và xác định liệu vấn đề nằm ở việc lựa chọn kiểm thử hay ở một lỗi rò rỉ tracing; được xem là hoàn tất khi các kiểm thử pandas hoàn thành trong giới hạn của pod và giới hạn này được ghi lại.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
So the pandas test suite ran out of memory again in Kubernetes. It used up ~13Gb and then was killed, because the pods only have that much available.
I am a bit hesitant to just raise the pod memory limit again... If anyone knows if this is a reasonable amount of memory for Pandas to use when testing (cc @datapythonista), that would be helpful! It's also possible that the tracing has some sort of memory leak which is blowing things up for pandas, although all the other test suites don't seem to have the same problem.
Maybe I can run Pandas test suites with some flags to ignore some high memory tests? These are my current ones: https://github.com/data-apis/python-record-api/blob/94902a2fa25352df0dad0f7566f87a537fa3ef2a/k8/images/pandas/Dockerfile#L40
I copied it from the test-fast script, or whatever that is, in the Pandas repo.
- Ngôn ngữ chính
- Python
- Star
- 74
- Fork
- 6
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Hướng dẫn đóng góp
Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của data-apis/python-record-api
-
bug
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 25/100
data-apis/python-record-api#145 · 1 bình luận ·
-
ufunc data seems to be missing Đang mởenhancement
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 30/100
data-apis/python-record-api#144 · 4 bình luận ·
-
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 35/100
data-apis/python-record-api#142 ·
-
Cleanup of Python Stack Access Đang mở
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 20/100
data-apis/python-record-api#81 · 2 bình luận ·
-
Create better view of results Đang mởgood first issue
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 25/100
data-apis/python-record-api#71 · 1 reaction ·
Tất cả issue của data-apis/python-record-api
Issue tương tự
-
essnmx good first issue
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 95/100
-
[Feature] 奇物选择添加优先级 Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 65/100
syfoud/Simulated_Scepter#174 ·
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100
Giskard-AI/giskard-oss#2840 · 1 bình luận ·
-
A claim comment carrying the issue number is silently declined while the workflow reports success Đang mởarea: repo bug perceived difficulty: 2
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 70/100
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100
yeti-platform/yeti#1380 ·