reworkd/AgentGPT

🌎 Add web scraping capabilities

Open

#684 geöffnet am 5. Juni 2023

Auf GitHub ansehen
 (2 Kommentare) (4 Reaktionen) (0 zugewiesene Personen)TypeScript (34.594 Stars) (9.446 Forks)batch import
enhancementhelp wantedjavascriptpython

Beschreibung

Currently we just do a simple Google search and summarize the descriptions of websites. We should also parse each website individual and aggregate information.

This would be a large undertaking

Contributor Guide

Tech Stack
typescriptnodejs
Domain
backenddata
Issue Type
feature
SchwierigkeitGeschĂ€tzte Implementierungsschwierigkeit fĂŒr neue Contributors, von 1 fĂŒr sehr kleine Änderungen bis 5 fĂŒr Expertenarbeit.
4
GeschÀtzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
over 1 week
AktivitĂ€tsstatusWie verfĂŒgbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
stale
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nĂ€chsten Schritt erklĂ€rt.
mostly clear
Voraussetzungen
TypeScriptweb scraping conceptsNode.js
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schĂ€tzt, wie zugĂ€nglich dieses Issue fĂŒr First-Time Contributors ist.
25
Research-Richtung
Review the existing Google search integration in the codebase to understand the current data flow. Examine potential scraping libraries compatible with TypeScript, such as Cheerio or Puppeteer. Assess the structure of target websites to determine parsing strategies. Consider error handling and rate limiting to avoid IP blocks. Propose a design that aggregates scraped data with existing search results.