ETL: incremental company registry sync using change detection
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 5/5
- Tiempo estimado
- Más de una semana
- Aptitud para principiantes
- 35/100
Línea de trabajo
Start by checking the SDK’s company search API entry point and the API documentation to determine whether it supports filtering by update time or offers a webhook or event stream. Then assess whether a since() query builder fits the SDK; done means identifying a supported incremental sync approach and documenting or implementing the corresponding SDK capability.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Scenario
Teams building data warehouses over the Italian company registry (Registro Imprese) need to run incremental syncs — only fetching records that changed since the last run — rather than full reloads.
Current approach (inefficient)
// Full reload every night — very expensive in API credits
$page = 1;
do {
$response = json_decode($client->get('https://company.openapi.com/IT-search', [
'page' => $page++,
]), true);
syncToWarehouse($response['items']);
} while (!empty($response['items']));
Better approach
Use a last_updated_at filter if the API supports it, or store a local hash of each record and compare on each run.
$lastRun = $store->get('last_sync_timestamp');
$response = json_decode($client->get('https://company.openapi.com/IT-search', [
'updated_after' => $lastRun,
]), true);
Open questions
- Does the company search API support
updated_afteror equivalent filtering? - Is there a webhook/event stream alternative to polling for changes?
- Could the SDK expose a
since()query builder to make this pattern cleaner?
- Lenguaje dominante
- PHP
- Estrellas
- 20
- Forks
- 3
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Preparar el entorno
- Sin Dockerfile ni archivo de Docker Compose
- Tiene una plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de openapi/openapi-php-sdk
-
Improve PHPDoc Consistency Across the CodebaseQuizá libre de nuevo @Seraphim200001 la tomó hace 141 días y no hay ningún pull request abierto. Abierto
Dificultad 4/5 3-5 días Aptitud para principiantes 48/100
openapi/openapi-php-sdk#36 · 3 comentarios ·
-
enhancement help wanted
Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100
openapi/openapi-php-sdk#34 ·
-
good first issue question
Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100
openapi/openapi-php-sdk#33 · 2 comentarios ·
-
enhancement
Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100
openapi/openapi-php-sdk#32 ·
-
help wanted question
Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100
openapi/openapi-php-sdk#31 ·
Todos los issues de openapi/openapi-php-sdk
Issues similares
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 66/100
Automattic/blocks-engine#2866 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 62/100
community-scripts/ProxmoxVE#17944 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
Good first issue: add laravel-inertia stack budget preset (Laravel 11 + Inertia.js + PHP 8.3)Abiertoenhancement good first issue help wanted
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
-
backend gamification P0
Dificultad 2/5 1-3 horas Aptitud para principiantes 66/100
semanadeinformatica/website#461 ·
-
HttpRequestTrait fatals on WordPress 7.2: $blocked_http_requests clashes with WP_UnitTestCase_BaseAbierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100