m1guelpf/browser-agent

Respect `robots.txt`

Aperta

#2 aperta il 26 mar 2023

Vedi su GitHub
 (1 commento) (0 reazioni) (0 assegnatari)Rust (68 fork)user submission
enhancementgood first issuehelp wanted

Metriche repository

Star
 (721 stelle)
Metriche merge PR
 (Nessuna PR mergiata in 30 g)

Descrizione

ML-based bots need to respect the norms as all the other bots on the web. That means providing an identifiable user agent, loading robots.txt, and avoiding requests to places that robots.txt bans it from.

Guida contributor

Direzione di ricerca
Implementare l'analisi dei file robots.txt in Rust, probabilmente usando regex o un crate come robots txt, e integrarlo con il client HTTP per negare le richieste a percorsi proibiti.
Tech stack
rust
Dominio
backendapi
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Nuova
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
GitRust
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
60