firecrawl/firecrawl

[Feat] Ability to scrape embedded pdfs

Aberta

#839 aberto em 28 de out. de 2024

Ver no GitHubGuia do colaborador
 (10 comentários) (0 reação) (0 responsável)TypeScript (7.373 forks)batch import
good first issue

Métricas do repositório

Stars
 (119.935 estrelas)
Métricas de merge de PR
 (Mesclagem média 3d 2h) (120 fundiu PRs em 30d)

Description

"I'm using the crawl endpoint and one of the URLs it discovered is https://www.gamweb.com/assets/files/lsk.pdf, however, I get a "Invalid PDF structure" error when the page is scraped by FireCrawl. I can see why, since it's webpage with an embedded PDF instead of just a raw PDF as the URL implies. However, I do think that FireCrawl should be able to gracefully handle this."

Guia do colaborador

Direção de pesquisa
Investigue como o FireCrawl atualmente lida com arquivos PDF e páginas com PDFs incorporados. Veja o código que busca e analisa páginas, especificamente a parte que determina se uma página é um PDF bruto ou uma página HTML com um PDF incorporado. Considere adicionar lógica para detectar PDFs incorporados por meio de análise HTML ou cabeçalhos content type e, em seguida, extrair o PDF ou renderizá lo.
Pilha de tecnologia
typescript
Domain
backendapi
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
Meio dia
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
GitTypeScript
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
60