ETL: incremental company registry sync using change detection
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Idoneità per principianti
- 35/100
Direzione di ricerca
Start by checking the SDK’s company search API entry point and the API documentation to determine whether it supports filtering by update time or offers a webhook or event stream. Then assess whether a since() query builder fits the SDK; done means identifying a supported incremental sync approach and documenting or implementing the corresponding SDK capability.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Scenario
Teams building data warehouses over the Italian company registry (Registro Imprese) need to run incremental syncs — only fetching records that changed since the last run — rather than full reloads.
Current approach (inefficient)
// Full reload every night — very expensive in API credits
$page = 1;
do {
$response = json_decode($client->get('https://company.openapi.com/IT-search', [
'page' => $page++,
]), true);
syncToWarehouse($response['items']);
} while (!empty($response['items']));
Better approach
Use a last_updated_at filter if the API supports it, or store a local hash of each record and compare on each run.
$lastRun = $store->get('last_sync_timestamp');
$response = json_decode($client->get('https://company.openapi.com/IT-search', [
'updated_after' => $lastRun,
]), true);
Open questions
- Does the company search API support
updated_afteror equivalent filtering? - Is there a webhook/event stream alternative to polling for changes?
- Could the SDK expose a
since()query builder to make this pattern cleaner?
- Lingua principale
- PHP
- Stelle
- 20
- Fork
- 3
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Preparare l'ambiente
- Nessun Dockerfile né file Docker Compose
- Ha un modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di openapi/openapi-php-sdk
-
Improve PHPDoc Consistency Across the CodebaseForse di nuovo libera @Seraphim200001 l’ha presa 139 giorni fa e non c’è nessuna pull request aperta. Aperta
Difficoltà 4/5 3-5 giorni Idoneità per principianti 48/100
openapi/openapi-php-sdk#36 · 3 commenti ·
-
enhancement help wanted
Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100
openapi/openapi-php-sdk#34 ·
-
good first issue question
Difficoltà 5/5 Più di una settimana Idoneità per principianti 35/100
openapi/openapi-php-sdk#33 · 2 commenti ·
-
enhancement
Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100
openapi/openapi-php-sdk#32 ·
-
help wanted question
Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100
openapi/openapi-php-sdk#31 ·
Tutte le issue di openapi/openapi-php-sdk
Issue simili
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 62/100
woocommerce/woocommerce-google-analytics-integration#699 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 60/100
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
ProfessionalWiki/NeoWiki#1675 ·
I maintainer di solito rispondono entro 1 giorno
-
Incorrect documentationAperta
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 88/100
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 70/100