ETL: batch geocoding pipeline with rate limiting and resume support
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Idoneità per principianti
- 25/100
- Tipo di issue
- Funzionalità
- Chiarezza
- Da chiarire
- Stato di attività
- Tranquilla
- Stack tecnologico
- php
- Ambito
- backend-api-design
Direzione di ricerca
Start by reading the SDK’s HttpTransportInterface and how Client accepts transports; those entry points are named in the issue, but no file paths or tests are provided. The scope depends on deciding whether retries belong in the core or an optional package and how checkpoint state should be stored. Done would require a settled design for retry/backoff and resume behavior across rate-limit signals.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Problem
When geocoding large address lists (10k+ records), the API rate limits kick in. There is currently no built-in mechanism in the SDK to handle this gracefully.
Typical pattern people try
$client = new Client($token);
foreach ($addresses as $addr) {
$result = $client->get('https://geocoding.openapi.com/geocode', ['address' => $addr]);
// if rate limit hit (429), this throws immediately and the whole batch is lost
}
What would help
A retry/backoff decorator on top of HttpTransportInterface:
use Openapi\Transports\RetryTransport;
$client = new Client($token, new RetryTransport(
maxRetries: 3,
backoffMs: 500,
retryOn: [429, 503]
));
And a checkpoint mechanism to resume from the last successful record.
Open questions
- Should
RetryTransportbe part of the core SDK or a separate optional package? - Should the checkpoint state be file-based, Redis-based, or left to the consumer?
- Is 429 the only rate-limit signal used across all Openapi endpoints?
- Lingua principale
- PHP
- Stelle
- 20
- Fork
- 3
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Preparare l'ambiente
- Nessun Dockerfile né file Docker Compose
- Ha un modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di openapi/openapi-php-sdk
-
Improve PHPDoc Consistency Across the CodebaseForse di nuovo libera @Seraphim200001 l’ha presa 138 giorni fa e non c’è nessuna pull request aperta. Aperta
Difficoltà 4/5 3-5 giorni Idoneità per principianti 48/100
openapi/openapi-php-sdk#36 · 3 commenti ·
-
enhancement help wanted
Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100
openapi/openapi-php-sdk#34 ·
-
good first issue question
Difficoltà 5/5 Più di una settimana Idoneità per principianti 35/100
openapi/openapi-php-sdk#33 · 2 commenti ·
-
enhancement
Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100
openapi/openapi-php-sdk#32 ·
-
help wanted question
Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100
openapi/openapi-php-sdk#31 ·
Tutte le issue di openapi/openapi-php-sdk
Issue simili
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 62/100
I maintainer di solito rispondono entro 1 giorno
-
fe: spell out "Auto increment" in the table editor, "AI" reads as artificial intelligence todayAperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 62/100
landsman/adminer-desktop#120 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 85/100
-
L: java:gradle L: java:maven L: ruby:bundler T: bug 🐞
Difficoltà 2/5 1-3 ore Idoneità per principianti 76/100
dependabot/dependabot-core#16547 ·
I maintainer di solito rispondono entro 1 giorno
-
cloning objets from planningAperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 65/100
glpi-project/glpi#25922 ·
I maintainer di solito rispondono entro 1 giorno