ETL: incremental company registry sync using change detection
Personne n'a encore pris cette issue.
Évaluation
- Difficulté
- 5/5
- Temps estimé
- Plus d'une semaine
- Accessibilité débutants
- 35/100
Piste de recherche
Start by checking the SDK’s company search API entry point and the API documentation to determine whether it supports filtering by update time or offers a webhook or event stream. Then assess whether a since() query builder fits the SDK; done means identifying a supported incremental sync approach and documenting or implementing the corresponding SDK capability.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Description
Scenario
Teams building data warehouses over the Italian company registry (Registro Imprese) need to run incremental syncs — only fetching records that changed since the last run — rather than full reloads.
Current approach (inefficient)
// Full reload every night — very expensive in API credits
$page = 1;
do {
$response = json_decode($client->get('https://company.openapi.com/IT-search', [
'page' => $page++,
]), true);
syncToWarehouse($response['items']);
} while (!empty($response['items']));
Better approach
Use a last_updated_at filter if the API supports it, or store a local hash of each record and compare on each run.
$lastRun = $store->get('last_sync_timestamp');
$response = json_decode($client->get('https://company.openapi.com/IT-search', [
'updated_after' => $lastRun,
]), true);
Open questions
- Does the company search API support
updated_afteror equivalent filtering? - Is there a webhook/event stream alternative to polling for changes?
- Could the SDK expose a
since()query builder to make this pattern cleaner?
- Langage dominant
- PHP
- Étoiles
- 20
- Forks
- 3
- Métriques de merge des PR
- Aucune PR mergée en 30 j
Préparer son environnement
- Aucun Dockerfile ni fichier Docker Compose
- Propose un modèle de pull request
- Lire le guide de contribution
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Autres issues de openapi/openapi-php-sdk
-
Improve PHPDoc Consistency Across the CodebasePeut-être à nouveau libre @Seraphim200001 l’a pris il y a 140 jours, et aucune pull request n’est ouverte. Ouverte
Difficulté 4/5 3-5 jours Accessibilité débutants 48/100
openapi/openapi-php-sdk#36 · 3 commentaires ·
-
enhancement help wanted
Difficulté 5/5 Plus d'une semaine Accessibilité débutants 25/100
openapi/openapi-php-sdk#34 ·
-
good first issue question
Difficulté 5/5 Plus d'une semaine Accessibilité débutants 35/100
openapi/openapi-php-sdk#33 · 2 commentaires ·
-
enhancement
Difficulté 5/5 Plus d'une semaine Accessibilité débutants 25/100
openapi/openapi-php-sdk#32 ·
-
help wanted question
Difficulté 5/5 Plus d'une semaine Accessibilité débutants 25/100
openapi/openapi-php-sdk#31 ·
Toutes les issues de openapi/openapi-php-sdk
Issues similaires
-
sync-en
Difficulté 1/5 1-3 heures Accessibilité débutants 68/100
Les mainteneurs répondent en général sous 4 jours
-
feature request
Difficulté 1/5 Moins d'une heure Accessibilité débutants 88/100
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 2/5 1-3 heures Accessibilité débutants 72/100
Automattic/blocks-engine#2803 ·
Les mainteneurs répondent en général sous 1 jour
-
bug
Difficulté 2/5 1-3 heures Accessibilité débutants 72/100
hestiacp/hestiacp#5798 · 2 commentaires ·
Les mainteneurs répondent en général sous 1 jour
-
Bug Component: HTTP Component: Telemetry
Difficulté 2/5 1-3 heures Accessibilité débutants 74/100