🐛 Bug Report: Crawlers can't read robots.txt
Los mantenedores suelen responder en 1 día
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 2/5
- Tiempo estimado
- 1-3 horas
- Aptitud para principiantes
- 70/100
Línea de trabajo
Busca en la base de código REDLIB_ROBOTS_DISABLE_INDEXING y la ruta de robots.txt para encontrar dónde se genera el 403 para los user agents de bots. Reproduce el problema estableciendo la variable en on y ejecutando el comando curl del informe. Está listo cuando una solicitud de GPTBot a /robots.txt devuelve el cuerpo User-agent: * y Disallow: / en lugar de Forbidden.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Describe the bug
When REDLIB_ROBOTS_DISABLE_INDEXING is set to on, crawlers can't read robots.txt.
This causes GPTBot, Claude etc to spam my instance even if they keep getting 403.
When using REDLIB_ROBOTS_DISABLE_INDEXING=off (the default), they can read robots.txt but it allow them to crawl redlib.
Steps to reproduce the bug
Set REDLIB_ROBOTS_DISABLE_INDEXING to "on"
curl -A "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.4; +https://openai.com/gptbot)" https://redlib.example/robots.txt
Forbidden%
What's the expected behavior?
curl should report :
User-agent: *
Disallow: /
Additional context / screenshot
- I checked that the instance that this was reported on is running the latest git commit, or I can reproduce it locally on the latest git commit
- Lenguaje dominante
- Rust
- Estrellas
- 3.9k
- Forks
- 293
- Merge medio
- 4 d 9 h
- PR fusionados (30 d)
- 1
Preparar el entorno
Inicia el contenedor de desarrollo del proyecto en tu navegador, con tu propia cuenta de GitHub.
- Incluye un Dockerfile o un archivo de Docker Compose
- Sin plantilla de pull request
- Sin guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de redlib-org/redlib
-
Dificultad 1/5 Menos de una hora Aptitud para principiantes 68/100
redlib-org/redlib#604 · 6 comentarios · 11 reacciones ·
Los mantenedores suelen responder en 1 día
-
bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
redlib-org/redlib#571 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 61/100
redlib-org/redlib#557 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100
redlib-org/redlib#609 · 5 comentarios · 15 reacciones ·
Los mantenedores suelen responder en 1 día
-
bug
Dificultad 3/5 1-2 días Aptitud para principiantes 57/100
redlib-org/redlib#608 · 2 reacciones ·
Los mantenedores suelen responder en 1 día
Todos los issues de redlib-org/redlib
Issues similares
-
security
Dificultad 2/5 1-3 horas Aptitud para principiantes 62/100
Waschndolos/open-clubmanager#185 ·
Los mantenedores suelen responder en 1 día
-
r-bug
Dificultad 1/5 Menos de una hora Aptitud para principiantes 88/100
servo/rust-smallvec#844 ·
Los mantenedores suelen responder en 1 día
-
enhancement
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
farion1231/cc-switch#9122 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
lbjlaq/Antigravity-Manager#3801 ·
Los mantenedores suelen responder en 1 día
-
LIMIT inputs are named MIN/MAX instead of the standard MN/MX, so LIMIT(MN := ...) does not resolveAbierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
Los mantenedores suelen responder en 1 día