Pass proper user-agent in `stream_file` when host is `upload.wikimedia.org`
Ninguém assumiu esta issue ainda.
Avaliação
- Dificuldade
- 2/5
- Tempo estimado
- 1-3 horas
- Facilidade para iniciantes
- 45/100
Direção de pesquisa
Localize a implementação de stream_file e revise como ela lida com downloads para upload.wikimedia.org. Leia a política da Wikimedia sobre User-Agent vinculada e, em seguida, verifique se as requisições para esse host usam um User-Agent em conformidade sem exigir alterações em cada scraper. A issue não menciona nenhum arquivo de teste específico, então adicione ou atualize a cobertura onde estão localizados os testes existentes de stream_file.
Escrita pelo modelo de indexação a partir do texto da issue.
Descrição
For files hosted on upload.wikimedia.org, we must comply with their User-Agent policy at https://meta.wikimedia.org/wiki/User-Agent_policy
Doing so at scraperlib level in stream_file (main methods using in many scraper to download files / assets) would help avoid having to do so in every scraper (and forget about it over and over).
- Linguagem predominante
- Python
- Estrelas
- 31
- Forks
- 31
- Merge médio
- 2d 5h
- PRs com merge (30d)
- 3
Preparar o ambiente
Este projeto não oferece contêiner de desenvolvimento, Dockerfile nem guia de contribuição, então a configuração fica por sua conta: comece pelo README e veja nosso guia da primeira contribuição para os passos gerais.
Primeiros passos
- Leia a issue inteira e depois o guia de contribuição do projeto.
- Comente na issue dizendo que vai assumir — evita que duas pessoas façam o mesmo trabalho.
- Faça um fork do repositório e trabalhe em uma branch.
- Abra um pull request que referencie o número da issue.
Mais de openzim/python-scraperlib
-
HTML rewriting: also rewrite `poster` attributeTalvez já em andamento @anshuman83-40 assumiu há 1 dia. Aberta
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 72/100
openzim/python-scraperlib#339 · 1 comentário ·
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 68/100
openzim/python-scraperlib#292 ·
-
Dificuldade 3/5 1-2 dias Facilidade para iniciantes 68/100
openzim/python-scraperlib#346 ·
-
URL normalisation: do not rewrite consecutive slashes `//` as a single slash `/`Talvez já em andamento @anshuman83-40 assumiu há 7 dias. Aberta
Dificuldade 3/5 1-2 dias Facilidade para iniciantes 45/100
openzim/python-scraperlib#340 ·
-
Add fuzzy rule to rewrite URLs of lesbases.anct.gouv.frTalvez livre de novo @benoit74 assumiu há 51 dias e não há nenhum pull request aberto. Aberta
openzim/python-scraperlib#334 · 1 responsável ·
Todas as issues de openzim/python-scraperlib
Issues semelhantes
-
Broken links found in docsAbertadocs pydanty:is-working
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 68/100
pydantic/pydantic-ai#10113 ·
Mantenedores costumam responder em até 1 dia
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 77/100
GreedyBear-Project/GreedyBear#1727 ·
Mantenedores costumam responder em até 2 dias
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 84/100
ARM-software/CMSIS-DSP#354 ·
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 68/100
kiat/codeAssist#391 ·
-
needs triage
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 83/100
darnitdevorg/darnit#587 ·
Mantenedores costumam responder em até 1 dia