reworkd/AgentGPT

🌎 Add web scraping capabilities

Open

#684 aberto em 5 de jun. de 2023

Ver no GitHub
 (2 comments) (4 reactions) (0 assignees)TypeScript (34.594 stars) (9.446 forks)batch import
enhancementhelp wantedjavascriptpython

Description

Currently we just do a simple Google search and summarize the descriptions of websites. We should also parse each website individual and aggregate information.

This would be a large undertaking

Guia do colaborador

Pilha de tecnologia
typescriptnodejs
Domain
backenddata
Tipo Issue
feature
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
4
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
over 1 week
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
stale
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
mostly clear
Prerequisites
TypeScriptweb scraping conceptsNode.js
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
25
Direção de pesquisa
Review the existing Google search integration in the codebase to understand the current data flow. Examine potential scraping libraries compatible with TypeScript, such as Cheerio or Puppeteer. Assess the structure of target websites to determine parsing strategies. Consider error handling and rate limiting to avoid IP blocks. Propose a design that aggregates scraped data with existing search results.