Python3WebSpider/ProxyPool

tester可能存在内存泄漏

クローズ

#119 opened on 2021/05/12

GitHub で見る
 (6 件のコメント) (0 件のリアクション) (1 人の担当者)Python (1,877 件のフォーク)batch import
bughelp wanted

Repository metrics

Stars
 (5,195 個のスター)
PR merge metrics
 (30d に merged PR はありません)

説明

运行一段时间之后，tester占用的内存越来越多，必须手动重启才行，请问有人能帮忙看一下可能是哪里内存泄漏了么？

我使用docker-compose运行程序，并且修改了tester相关的配置，如下：

TEST_URL: <test-api-url>
TEST_TIMEOUT: 3
TEST_BATCH: 100

截图如下：

QQ截图20210512122509

可以看到，程序运行两个多月，getter和server的内存占用都比较正常，但是tester占用600+MB内存

コントリビューターガイド

調査方針
ProxyPool リポジトリ内のテスターコンポーネントを調査します。特にループやバッチ処理における潜在的なメモリリークについて、テスターコードを確認してください。テスターの HTTP リクエストに未解決の参照やクリーンアップの欠落がないか確認します。この問題は Docker の使用に言及しているため、環境の詳細を考慮してください。メンテナからのヒントがないかコメントを確認します。
技術スタック
python
領域
backend
Issue 種別
バグ
難度新しい貢献者にとっての実装難度です。1 は非常に小さな変更、5 は専門的な作業です。
3
推定時間経験ある貢献者が調査、実装、テスト、pull request 準備にかけるおおよその時間範囲です。
1-2日
活動状況Issue が今どれだけ取り組みやすいかを示します。新しい、活発、古い、ブロック中、またはメンテナー入力待ちなどです。
アクティブ
明確さ期待される変更、受け入れ条件、次の手順がどれだけ明確かを示します。
明確
前提条件
Pythonmemory profiling
初心者向け度初回貢献者にどれだけ取り組みやすいかを 1-100 で推定したスコアです。
40