ETL: batch geocoding pipeline with rate limiting and resume support
Ninguém assumiu esta issue ainda.
Avaliação
- Dificuldade
- 5/5
- Tempo estimado
- Mais de uma semana
- Facilidade para iniciantes
- 25/100
- Tipo de issue
- Funcionalidade
- Clareza
- Precisa de esclarecimento
- Status de atividade
- Pouca atividade
- Stack de tecnologia
- php
- Domínio
- backend-api-design
Direção de pesquisa
Start by reading the SDK’s HttpTransportInterface and how Client accepts transports; those entry points are named in the issue, but no file paths or tests are provided. The scope depends on deciding whether retries belong in the core or an optional package and how checkpoint state should be stored. Done would require a settled design for retry/backoff and resume behavior across rate-limit signals.
Escrita pelo modelo de indexação a partir do texto da issue.
Descrição
Problem
When geocoding large address lists (10k+ records), the API rate limits kick in. There is currently no built-in mechanism in the SDK to handle this gracefully.
Typical pattern people try
$client = new Client($token);
foreach ($addresses as $addr) {
$result = $client->get('https://geocoding.openapi.com/geocode', ['address' => $addr]);
// if rate limit hit (429), this throws immediately and the whole batch is lost
}
What would help
A retry/backoff decorator on top of HttpTransportInterface:
use Openapi\Transports\RetryTransport;
$client = new Client($token, new RetryTransport(
maxRetries: 3,
backoffMs: 500,
retryOn: [429, 503]
));
And a checkpoint mechanism to resume from the last successful record.
Open questions
- Should
RetryTransportbe part of the core SDK or a separate optional package? - Should the checkpoint state be file-based, Redis-based, or left to the consumer?
- Is 429 the only rate-limit signal used across all Openapi endpoints?
- Linguagem predominante
- PHP
- Estrelas
- 20
- Forks
- 3
- Métricas de merge de PRs
- Nenhum PR com merge em 30d
Preparar o ambiente
- Sem Dockerfile nem arquivo Docker Compose
- Tem um modelo de pull request
- Ler o guia de contribuição
Primeiros passos
- Leia a issue inteira e depois o guia de contribuição do projeto.
- Comente na issue dizendo que vai assumir — evita que duas pessoas façam o mesmo trabalho.
- Faça um fork do repositório e trabalhe em uma branch.
- Abra um pull request que referencie o número da issue.
Mais de openapi/openapi-php-sdk
-
Improve PHPDoc Consistency Across the CodebaseTalvez livre de novo @Seraphim200001 assumiu há 139 dias e não há nenhum pull request aberto. Aberta
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 48/100
openapi/openapi-php-sdk#36 · 3 comentários ·
-
enhancement help wanted
Dificuldade 5/5 Mais de uma semana Facilidade para iniciantes 25/100
openapi/openapi-php-sdk#34 ·
-
good first issue question
Dificuldade 5/5 Mais de uma semana Facilidade para iniciantes 35/100
openapi/openapi-php-sdk#33 · 2 comentários ·
-
enhancement
Dificuldade 5/5 Mais de uma semana Facilidade para iniciantes 25/100
openapi/openapi-php-sdk#32 ·
-
help wanted question
Dificuldade 5/5 Mais de uma semana Facilidade para iniciantes 25/100
openapi/openapi-php-sdk#31 ·
Todas as issues de openapi/openapi-php-sdk
Issues semelhantes
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 70/100
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 78/100
matomo-org/device-detector#8405 ·
Mantenedores costumam responder em até 1 dia
-
bug
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 66/100
Mantenedores costumam responder em até 1 dia
-
sync-en
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 62/100
Mantenedores costumam responder em até 1 dia
-
sync-en
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 66/100
Mantenedores costumam responder em até 4 dias