rmax/scrapy-redis

Logs report a warning: Spider.make_requests_from_url method is deprecated...

Open

#181 aperta il 11 dic 2020

Vedi su GitHub
 (2 commenti) (0 reazioni) (0 assegnatari)Python (1586 fork)batch import
help wantedimprovement

Metriche repository

Star
 (5337 star)
Metriche merge PR
 (Nessuna PR mergiata in 30 g)

Descrizione

Environments : scrapy-redis 0.6.8, Scrapy 2.4.1, Python 3.8.5 When running the spider, the logs report a warning : Spider.make_requests_from_url method is deprecated: it will be removed and not be called by the default Spider.start_requests method in future Scrapy releases. Please override Spider.start_requests method instead. Warning is from line 66 in https://github.com/scrapy/scrapy/blob/master/scrapy/spiders/__init__.py, the reason may be in https://github.com/rmax/scrapy-redis/blob/master/src/scrapy_redis/spiders.py, method named make_request_from_data in line 121. Can this warning be fixed?

Guida contributor

Direzione di ricerca
Modifica il metodo `make request from data` in `scrapy redis/spiders.py` per sovrascrivere `start requests` invece, seguendo il percorso di deprecazione di Scrapy.
Tech stack
pythonredis
Dominio
backend
Tipo issue
Bug
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
PythonScrapy
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
60