Python3WebSpider/ProxyPool

tester可能存在内存泄漏

Fechada

#119 aberto em 12 de mai. de 2021

Ver no GitHub
 (6 comentários) (0 reação) (1 responsável)Python (1.877 forks)batch import
bughelp wanted

Métricas do repositório

Stars
 (5.195 estrelas)
Métricas de merge de PR
 (Nenhuma PRs mesclada em 30d)

Description

运行一段时间之后，tester占用的内存越来越多，必须手动重启才行，请问有人能帮忙看一下可能是哪里内存泄漏了么？

我使用docker-compose运行程序，并且修改了tester相关的配置，如下：

TEST_URL: <test-api-url>
TEST_TIMEOUT: 3
TEST_BATCH: 100

截图如下：

QQ截图20210512122509

可以看到，程序运行两个多月，getter和server的内存占用都比较正常，但是tester占用600+MB内存

Guia do colaborador

Direção de pesquisa
Investigue o componente testador no repositório ProxyPool. Examine o código do testador em busca de possíveis vazamentos de memória, especialmente em loops ou processamento em lote. Verifique se há referências não resolvidas ou limpeza ausente nas requisições HTTP do testador. O problema menciona o uso do Docker, portanto considere os detalhes do ambiente. Revise os comentários em busca de dicas dos mantenedores.
Pilha de tecnologia
python
Domain
backend
Tipo Issue
Bug
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-2 dias
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
Pythonmemory profiling
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
40