Pandas Ran out of memory again!
Ninguém assumiu esta issue ainda.
Avaliação
- Dificuldade
- 4/5
- Tempo estimado
- 3-5 dias
- Facilidade para iniciantes
- 35/100
- Tipo de issue
- Bug
- Clareza
- Precisa de esclarecimento
- Status de atividade
- Estagnada
- Domínio
- data-engineering, infrastructure, testing
Direção de pesquisa
O comando de teste atual está em k8/images/pandas/Dockerfile, na linha 40; compare-o com o script test-fast do Pandas e verifique quais testes ou flags de alto consumo de memória estão incluídos. Meça o uso de memória da suíte rastreada no Kubernetes e determine se o problema está na seleção de testes ou em um vazamento de tracing; considera-se concluído quando os testes do pandas forem concluídos dentro do limite do pod e a limitação estiver documentada.
Escrita pelo modelo de indexação a partir do texto da issue.
Descrição
So the pandas test suite ran out of memory again in Kubernetes. It used up ~13Gb and then was killed, because the pods only have that much available.
I am a bit hesitant to just raise the pod memory limit again... If anyone knows if this is a reasonable amount of memory for Pandas to use when testing (cc @datapythonista), that would be helpful! It's also possible that the tracing has some sort of memory leak which is blowing things up for pandas, although all the other test suites don't seem to have the same problem.
Maybe I can run Pandas test suites with some flags to ignore some high memory tests? These are my current ones: https://github.com/data-apis/python-record-api/blob/94902a2fa25352df0dad0f7566f87a537fa3ef2a/k8/images/pandas/Dockerfile#L40
I copied it from the test-fast script, or whatever that is, in the Pandas repo.
- Linguagem predominante
- Python
- Estrelas
- 74
- Forks
- 6
- Métricas de merge de PRs
- Nenhum PR com merge em 30d
Preparar o ambiente
Este projeto não oferece contêiner de desenvolvimento, Dockerfile nem guia de contribuição, então a configuração fica por sua conta: comece pelo README e veja nosso guia da primeira contribuição para os passos gerais.
Primeiros passos
- Leia a issue inteira e depois o guia de contribuição do projeto.
- Comente na issue dizendo que vai assumir — evita que duas pessoas façam o mesmo trabalho.
- Faça um fork do repositório e trabalhe em uma branch.
- Abra um pull request que referencie o número da issue.
Mais de data-apis/python-record-api
-
bug
Dificuldade 5/5 Mais de uma semana Facilidade para iniciantes 25/100
data-apis/python-record-api#145 · 1 comentário ·
-
enhancement
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 30/100
data-apis/python-record-api#144 · 4 comentários ·
-
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 35/100
data-apis/python-record-api#142 ·
-
Dificuldade 5/5 Mais de uma semana Facilidade para iniciantes 20/100
data-apis/python-record-api#81 · 2 comentários ·
-
good first issue
Dificuldade 5/5 Mais de uma semana Facilidade para iniciantes 25/100
data-apis/python-record-api#71 · 1 reação ·
Todas as issues de data-apis/python-record-api
Issues semelhantes
-
upstream update
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 75/100
conan-io/conan-center-index#31098 ·
Mantenedores costumam responder em até 2 dias
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 78/100
john-kurkowski/tldextract#382 ·
-
comp/tools duplicate P2 sweeper:risk-compatibility tool/mcp type/bug
Dificuldade 1/5 Menos de uma hora Facilidade para iniciantes 88/100
NousResearch/hermes-agent#132042 ·
Mantenedores costumam responder em até 1 dia
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 78/100
deepset-ai/haystack#13092 ·
Mantenedores costumam responder em até 1 dia
-
Dificuldade 1/5 1-3 horas Facilidade para iniciantes 85/100
feder-cr/invisible_playwright_mcp#1408 ·
Mantenedores costumam responder em até 1 dia