m1guelpf/browser-agent

Respect `robots.txt`

Ouverte

#2 ouverte le 26 mars 2023

Voir sur GitHub
 (1 commentaire) (0 réaction) (0 personne assignée)Rust (68 forks)user submission
enhancementgood first issuehelp wanted

Métriques du dépôt

Stars
 (721 étoiles)
Métriques de merge PR
 (Aucune PR mergée en 30 j)

Description

ML-based bots need to respect the norms as all the other bots on the web. That means providing an identifiable user agent, loading robots.txt, and avoiding requests to places that robots.txt bans it from.

Guide contributeur

Direction de recherche
Implémenter l'analyse des fichiers robots.txt en Rust, probablement en utilisant des regex ou une crate comme robots txt, et l'intégrer avec le client HTTP pour refuser les requêtes vers les chemins interdits.
Stack technique
rust
Domaine
backendapi
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-2 jours
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Récente
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
GitRust
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
60