Python3WebSpider/ProxyPool

tester可能存在内存泄漏

Chiusa

#119 aperta il 12 mag 2021

Vedi su GitHub
 (6 commenti) (0 reazioni) (1 assegnatario)Python (1877 fork)batch import
bughelp wanted

Metriche repository

Star
 (5195 stelle)
Metriche merge PR
 (Nessuna PR mergiata in 30 g)

Descrizione

运行一段时间之后，tester占用的内存越来越多，必须手动重启才行，请问有人能帮忙看一下可能是哪里内存泄漏了么？

我使用docker-compose运行程序，并且修改了tester相关的配置，如下：

TEST_URL: <test-api-url>
TEST_TIMEOUT: 3
TEST_BATCH: 100

截图如下：

QQ截图20210512122509

可以看到，程序运行两个多月，getter和server的内存占用都比较正常，但是tester占用600+MB内存

Guida contributor

Direzione di ricerca
Indaga sul componente tester nel repository ProxyPool. Esamina il codice del tester per potenziali perdite di memoria, specialmente nei cicli o nell'elaborazione in batch. Controlla se ci sono riferimenti non risolti o pulizie mancanti nelle richieste HTTP del tester. Il problema menziona l'uso di Docker, quindi considera le specifiche dell'ambiente. Rivedi i commenti per eventuali suggerimenti dei manutentori.
Tech stack
python
Dominio
backend
Tipo issue
Bug
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
Pythonmemory profiling
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
40