reworkd/AgentGPT

🌎 Add web scraping capabilities

Open

#684 ouverte le 5 juin 2023

Voir sur GitHub
 (2 commentaires) (4 réactions) (0 assignés)TypeScript (34 594 stars) (9 446 forks)batch import
enhancementhelp wantedjavascriptpython

Description

Currently we just do a simple Google search and summarize the descriptions of websites. We should also parse each website individual and aggregate information.

This would be a large undertaking

Guide contributeur

Stack technique
typescriptnodejs
Domaine
backenddata
Type d'issue
feature
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
4
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
over 1 week
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
stale
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
mostly clear
Prérequis
TypeScriptweb scraping conceptsNode.js
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
25
Direction de recherche
Review the existing Google search integration in the codebase to understand the current data flow. Examine potential scraping libraries compatible with TypeScript, such as Cheerio or Puppeteer. Assess the structure of target websites to determine parsing strategies. Consider error handling and rate limiting to avoid IP blocks. Propose a design that aggregates scraped data with existing search results.