Python3WebSpider/ProxyPool

tester可能存在内存泄漏

Geschlossen

#119 geöffnet am 12.05.2021

Auf GitHub ansehen
 (6 Kommentare) (0 Reaktionen) (1 zugewiesene Person)Python (1.877 Forks)batch import
bughelp wanted

Repository-Metriken

Stars
 (5.195 Sterne)
PR-Merge-Metriken
 (Keine gemergten PRs in 30 T)

Beschreibung

运行一段时间之后，tester占用的内存越来越多，必须手动重启才行，请问有人能帮忙看一下可能是哪里内存泄漏了么？

我使用docker-compose运行程序，并且修改了tester相关的配置，如下：

TEST_URL: <test-api-url>
TEST_TIMEOUT: 3
TEST_BATCH: 100

截图如下：

QQ截图20210512122509

可以看到，程序运行两个多月，getter和server的内存占用都比较正常，但是tester占用600+MB内存

Contributor Guide

Research-Richtung
Untersuchen Sie die Tester Komponente im ProxyPool Repository. Prüfen Sie den Tester Code auf potenzielle Speicherlecks, insbesondere in Schleifen oder der Batch Verarbeitung. Überprüfen Sie, ob es ungelöste Referenzen oder fehlende Bereinigungen in den HTTP Anfragen des Testers gibt. Das Problem erwähnt die Docker Nutzung, berücksichtigen Sie daher Umgebungsdetails. Überprüfen Sie Kommentare auf Hinweise von Maintainern.
Tech Stack
python
Domain
backend
Issue Type
Fehler
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-2 Tage
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
Pythonmemory profiling
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
40