[BUG]: Scraper passes headers as query params in requests.get (User-Agent never sent)

Abierto Apto para principiantes
#161 1 comentario 0 reacciones 0 asignados Ver en GitHub

@Th-Shivam ya está trabajando en esto.

Desde el 1/10/2026.

  • #162 de @Th-Shivam — abierto

Evaluación

Dificultad
1/5
Tiempo estimado
Menos de una hora
Aptitud para principiantes
92/100
Tipo de issue
Error
Claridad
Bien especificado
Estado de actividad
Activo
Stack tecnológico
python
Área
backend

Línea de trabajo

Empieza en backend/app/modules/scraper/extractor.py, en Article_extractor._fetch_html(). Ejecuta el comando uv proporcionado desde el directorio backend/ para observar el comportamiento actual de las solicitudes. La tarea estará terminada cuando el User-Agent configurado se envíe como encabezado y los encabezados ya no se serialicen en los parámetros de consulta de la URL.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

bug
Bug Description

In backend/app/modules/scraper/extractor.py, Article_extractor._fetch_html() calls:

res = requests.get(self.url, self.headers, timeout=10)

The second positional argument of requests.get(url, params=None, **kwargs) is params, not headers. So:

  1. The custom User-Agent header is never sent.
  2. The headers dict is instead serialized into the URL query string (e.g. ?User-Agent=Mozilla%2F5.0...), producing a malformed request.

_fetch_html() backs extract_with_bs4(), which is the last-resort fallback (it runs only when Trafilatura and Newspaper3k both fail) — so exactly when robust fetching matters most, the request goes out without the intended User-Agent and with a polluted URL.

Steps to Reproduce

Deterministic, no app/keys needed — from the backend/ directory:

uv run python -c "from app.modules.scraper.extractor import Article_extractor; print(Article_extractor('https://httpbin.org/get')._fetch_html())"

Observe the response: the args object contains User-Agent (proving it was sent as a query param), and headers.User-Agent is the default python-requests/... (proving the custom UA was not applied).

Logs and Screenshots

Deterministic, no app/keys needed — from the backend/ directory:

uv run python -c "from app.modules.scraper.extractor import Article_extractor; print(Article_extractor('https://httpbin.org/get')._fetch_html())"

Observe the response: the args object contains User-Agent (proving it was sent as a query param), and headers.User-Agent is the default python-requests/... (proving the custom UA was not applied).

Environment Details
  • Present on current main (commit 70a2af4), independent of OS.
  • Backend: Python 3.13, requests>=2.32.3.
  • Root cause is a universal requests API behavior, so it reproduces in every environment.
Impact

Medium - Feature works but has issues

Code of Conduct
  • I have joined the Discord server and will post updates there
  • I have searched existing issues to avoid duplicates
Lenguaje dominante
TypeScript
Estrellas
58
Forks
90
Merge medio
11 h 51 min
PR fusionados (30 d)
3

Preparar el entorno

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de AOSSIE-Org/Perspective

Todos los issues de AOSSIE-Org/Perspective

Issues similares

Más issues de TypeScript

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.