Pandas Ran out of memory again!

Abierto
#69 4 comentarios 0 reacciones 0 asignados Ver en GitHub

Nadie ha tomado este issue todavía.

Evaluación

Dificultad
4/5
Tiempo estimado
3-5 días
Aptitud para principiantes
35/100
Tipo de issue
Error
Claridad
Necesita aclaración
Estado de actividad
Estancado
Stack tecnológico
docker, kubernetes, pandas, python
Área
data-engineering, infrastructure, testing

Línea de trabajo

El comando de prueba actual está en k8/images/pandas/Dockerfile, en la línea 40; compáralo con el script test-fast de Pandas e inspecciona qué pruebas o flags de alto consumo de memoria están incluidos. Mide el uso de memoria de la suite trazada en Kubernetes y determina si el problema está en la selección de pruebas o en una fuga de tracing; se considera terminado cuando las pruebas de pandas se completan dentro del límite del pod y la limitación queda documentada.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

bug

So the pandas test suite ran out of memory again in Kubernetes. It used up ~13Gb and then was killed, because the pods only have that much available.

I am a bit hesitant to just raise the pod memory limit again... If anyone knows if this is a reasonable amount of memory for Pandas to use when testing (cc @datapythonista), that would be helpful! It's also possible that the tracing has some sort of memory leak which is blowing things up for pandas, although all the other test suites don't seem to have the same problem.

Maybe I can run Pandas test suites with some flags to ignore some high memory tests? These are my current ones: https://github.com/data-apis/python-record-api/blob/94902a2fa25352df0dad0f7566f87a537fa3ef2a/k8/images/pandas/Dockerfile#L40

I copied it from the test-fast script, or whatever that is, in the Pandas repo.

Lenguaje dominante
Python
Estrellas
74
Forks
6
Sin PR fusionados en 30 d

Guía de contribución

No hay ninguna guía de contribución indexada para este repositorio

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de data-apis/python-record-api

Todos los issues de data-apis/python-record-api

Issues similares

Más issues de Python

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.