Pandas Ran out of memory again!
Dieses Issue hat noch niemand übernommen.
Bewertung
- Schwierigkeit
- 4/5
- Geschätzter Aufwand
- 3-5 Tage
- Anfängerfreundlichkeit
- 35/100
- Issue-Typ
- Bug
- Klarheit
- Muss geklärt werden
- Aktivitätsstatus
- Veraltet
- Bereich
- data-engineering, infrastructure, testing
Rechercherichtung
Der aktuelle Testbefehl befindet sich in k8/images/pandas/Dockerfile in Zeile 40; vergleiche ihn mit Pandas' test-fast-Skript und prüfe, welche Tests oder Flags mit hohem Speicherbedarf enthalten sind. Miss die Speichernutzung der getrackten Suite in Kubernetes und ermittle, ob das Problem in der Testauswahl oder in einem Tracing-Leak liegt; abgeschlossen ist die Aufgabe, wenn die Pandas-Tests innerhalb des Pod-Limits abgeschlossen werden und die Einschränkung dokumentiert ist.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Beschreibung
So the pandas test suite ran out of memory again in Kubernetes. It used up ~13Gb and then was killed, because the pods only have that much available.
I am a bit hesitant to just raise the pod memory limit again... If anyone knows if this is a reasonable amount of memory for Pandas to use when testing (cc @datapythonista), that would be helpful! It's also possible that the tracing has some sort of memory leak which is blowing things up for pandas, although all the other test suites don't seem to have the same problem.
Maybe I can run Pandas test suites with some flags to ignore some high memory tests? These are my current ones: https://github.com/data-apis/python-record-api/blob/94902a2fa25352df0dad0f7566f87a537fa3ef2a/k8/images/pandas/Dockerfile#L40
I copied it from the test-fast script, or whatever that is, in the Pandas repo.
- Vorherrschende Sprache
- Python
- Sterne
- 74
- Forks
- 6
- PR-Merge-Kennzahlen
- Keine gemergten PRs in 30 T.
Entwicklungsumgebung
Dieses Projekt bietet weder Dev-Container noch Dockerfile noch Beitragsleitfaden – die Einrichtung liegt bei Ihnen. Beginnen Sie mit der README; die allgemeinen Schritte stehen in unserem Leitfaden für den ersten Beitrag.
Erste Schritte
- Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
- Forken Sie das Repository und arbeiten Sie in einem Branch.
- Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.
Mehr aus data-apis/python-record-api
-
bug
Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 25/100
data-apis/python-record-api#145 · 1 Kommentar ·
-
enhancement
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 30/100
data-apis/python-record-api#144 · 4 Kommentare ·
-
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 35/100
data-apis/python-record-api#142 ·
-
Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 20/100
data-apis/python-record-api#81 · 2 Kommentare ·
-
good first issue
Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 25/100
data-apis/python-record-api#71 · 1 Reaktion ·
Alle Issues in data-apis/python-record-api
Ähnliche Issues
-
Schwierigkeit 1/5 Unter einer Stunde Anfängerfreundlichkeit 92/100
raullenchai/Rapid-MLX#4042 ·
Maintainer antworten meist innerhalb von 1 Tag
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 78/100
Maintainer antworten meist innerhalb von 1 Tag
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 84/100
LearningCircuit/local-deep-research#7067 ·
Maintainer antworten meist innerhalb von 1 Tag
-
#bug
Schwierigkeit 1/5 Unter einer Stunde Anfängerfreundlichkeit 92/100
apache/superset#44923 · 1 Kommentar ·
Maintainer antworten meist innerhalb von 2 Tagen
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 84/100
lawndoc/stack-back#123 ·