Python3WebSpider/ProxyPool

tester可能存在内存泄漏

Fermée

#119 ouverte le 12 mai 2021

Voir sur GitHub
 (6 commentaires) (0 réaction) (1 personne assignée)Python (1 877 forks)batch import
bughelp wanted

Métriques du dépôt

Stars
 (5 195 étoiles)
Métriques de merge PR
 (Aucune PR mergée en 30 j)

Description

运行一段时间之后，tester占用的内存越来越多，必须手动重启才行，请问有人能帮忙看一下可能是哪里内存泄漏了么？

我使用docker-compose运行程序，并且修改了tester相关的配置，如下：

TEST_URL: <test-api-url>
TEST_TIMEOUT: 3
TEST_BATCH: 100

截图如下：

QQ截图20210512122509

可以看到，程序运行两个多月，getter和server的内存占用都比较正常，但是tester占用600+MB内存

Guide contributeur

Direction de recherche
Examinez le composant testeur dans le dépôt ProxyPool. Recherchez dans le code du testeur d'éventuelles fuites de mémoire, en particulier dans les boucles ou le traitement par lots. Vérifiez s'il y a des références non résolues ou un nettoyage manquant dans les requêtes HTTP du testeur. Le problème mentionne l'utilisation de Docker, tenez donc compte des spécificités de l'environnement. Consultez les commentaires pour tout indice des mainteneurs.
Stack technique
python
Domaine
backend
Type d'issue
Bug
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-2 jours
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
Pythonmemory profiling
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
40