psf/requests-html

Make pyppeteer use proxies

Open

#266 aperta il 18 feb 2019

Vedi su GitHub
 (15 commenti) (7 reazioni) (0 assegnatari)Python (976 fork)batch import
enhancementgood first issue

Metriche repository

Star
 (13.555 star)
Metriche merge PR
 (Nessuna PR mergiata in 30 g)

Descrizione

If you're using proxies with requests-html and rendering JS sites is all good. Once you render a website pyppeteer don't know about this proxies and will expose your IP. This is an undesired behavior when scraping with proxies.

The idea is that whenever someone passes in proxies to the session object or any method call, make pyppeteer also use these proxies. #265

Guida contributor

Direzione di ricerca
Indaga come pyppeteer gestisce le impostazioni del proxy e modifica la sessione per passarle durante il rendering.
Tech stack
python
Dominio
backend
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
Pythonrequests html
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
75