Pandas Ran out of memory again!
Personne n'a encore pris cette issue.
Évaluation
- Difficulté
- 4/5
- Temps estimé
- 3-5 jours
- Accessibilité débutants
- 35/100
- Type d'issue
- Bug
- Clarté
- À clarifier
- Activité
- À l'abandon
- Domaine
- data-engineering, infrastructure, testing
Piste de recherche
La commande de test actuelle se trouve dans k8/images/pandas/Dockerfile à la ligne 40 ; comparez-la au script test-fast de Pandas et examinez quels tests ou flags à forte consommation mémoire sont inclus. Mesurez l’utilisation mémoire de la suite tracée dans Kubernetes et déterminez si le problème vient de la sélection des tests ou d’une fuite de tracing ; le travail est terminé lorsque les tests pandas s’exécutent jusqu’au bout dans la limite du pod et que la limitation est documentée.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Description
So the pandas test suite ran out of memory again in Kubernetes. It used up ~13Gb and then was killed, because the pods only have that much available.
I am a bit hesitant to just raise the pod memory limit again... If anyone knows if this is a reasonable amount of memory for Pandas to use when testing (cc @datapythonista), that would be helpful! It's also possible that the tracing has some sort of memory leak which is blowing things up for pandas, although all the other test suites don't seem to have the same problem.
Maybe I can run Pandas test suites with some flags to ignore some high memory tests? These are my current ones: https://github.com/data-apis/python-record-api/blob/94902a2fa25352df0dad0f7566f87a537fa3ef2a/k8/images/pandas/Dockerfile#L40
I copied it from the test-fast script, or whatever that is, in the Pandas repo.
- Langage dominant
- Python
- Étoiles
- 74
- Forks
- 6
- Métriques de merge des PR
- Aucune PR mergée en 30 j
Préparer son environnement
Ce projet ne fournit ni conteneur de développement, ni Dockerfile, ni guide de contribution : l'installation est à votre charge. Commencez par son README, et consultez notre guide de la première contribution pour les étapes générales.
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Autres issues de data-apis/python-record-api
-
bug
Difficulté 5/5 Plus d'une semaine Accessibilité débutants 25/100
data-apis/python-record-api#145 · 1 commentaire ·
-
ufunc data seems to be missingOuverteenhancement
Difficulté 4/5 3-5 jours Accessibilité débutants 30/100
data-apis/python-record-api#144 · 4 commentaires ·
-
Difficulté 4/5 3-5 jours Accessibilité débutants 35/100
data-apis/python-record-api#142 ·
-
Cleanup of Python Stack AccessOuverte
Difficulté 5/5 Plus d'une semaine Accessibilité débutants 20/100
data-apis/python-record-api#81 · 2 commentaires ·
-
Create better view of resultsOuvertegood first issue
Difficulté 5/5 Plus d'une semaine Accessibilité débutants 25/100
data-apis/python-record-api#71 · 1 réaction ·
Toutes les issues de data-apis/python-record-api
Issues similaires
-
good first issue hacktoberfest
Difficulté 1/5 Moins d'une heure Accessibilité débutants 92/100
RogueAlg0/taken#387 · 4 commentaires ·
Les mainteneurs répondent en général sous 1 jour
-
tool-calling
Difficulté 2/5 1-3 heures Accessibilité débutants 88/100
vllm-project/vllm#59838 ·
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 1/5 Moins d'une heure Accessibilité débutants 92/100
raullenchai/Rapid-MLX#4042 ·
Les mainteneurs répondent en général sous 1 jour
-
documentation
Difficulté 1/5 Moins d'une heure Accessibilité débutants 92/100
transitmatters/mbta-slow-zone-bot#70 ·
Les mainteneurs répondent en général sous 1 jour
-
bug
Difficulté 2/5 1-3 heures Accessibilité débutants 66/100
open-webui/open-webui#31871 · 1 commentaire ·
Les mainteneurs répondent en général sous 1 jour