mobidata-bw/postgis-gtfs-importer

investigate possible curl-mirror bug (IPL bwgesamt GTFS import)

Open

#10 aberto em 29 de out. de 2024

Ver no GitHub
 (5 comments) (0 reactions) (0 assignees)JavaScript (1 fork)github user discovery
bughelp wanted

Métricas do repositório

Stars
 (6 stars)
Métricas de merge de PR
 (Métricas PR pendentes)

Description

In >1 IPL deployment, the following error occurred when mirroring and importing the "bwgesamt" GTFS feed:

+ unzip -d /var/gtfs/gtfs /var/gtfs/gtfs.zip
warning [/var/gtfs/gtfs.zip]: 3428352 extra bytes at beginning or within zipfile
(attempting to process anyway)
file #1: bad zipfile offset (local header sig): 3428352
(attempting to re-compensate)
inflating: /var/gtfs/gtfs/agency.txt
error: not enough memory for bomb detection

A bug in curl-mirror seems likely that

  • either causes parts of new and old versions of the zip file to be "merged" (written into the same file); or
  • doesn't properly continue previously aborted downloads.

However, it could also be that the "bwgesamt" zip file isn't getting updated atomically, in which case a curl-mirror run "caught" the update process right while it had been happening. @NVBWSeifert can you rule out this cause?

Guia do colaborador

Direção de pesquisa
Investigue o script curl mirror para identificar se causa corrupção durante gravações simultâneas ou downloads incompletos. Verifique o processo de atualização do feed GTFS bwgesamt quanto à atomicidade.
Pilha de tecnologia
javascriptshell
Domain
backenddata
Tipo Issue
Bug
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
2
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-3 horas
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
Git
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
65