ETL: incremental company registry sync using change detection
Ninguém assumiu esta issue ainda.
Avaliação
- Dificuldade
- 5/5
- Tempo estimado
- Mais de uma semana
- Facilidade para iniciantes
- 35/100
Direção de pesquisa
Start by checking the SDK’s company search API entry point and the API documentation to determine whether it supports filtering by update time or offers a webhook or event stream. Then assess whether a since() query builder fits the SDK; done means identifying a supported incremental sync approach and documenting or implementing the corresponding SDK capability.
Escrita pelo modelo de indexação a partir do texto da issue.
Descrição
Scenario
Teams building data warehouses over the Italian company registry (Registro Imprese) need to run incremental syncs — only fetching records that changed since the last run — rather than full reloads.
Current approach (inefficient)
// Full reload every night — very expensive in API credits
$page = 1;
do {
$response = json_decode($client->get('https://company.openapi.com/IT-search', [
'page' => $page++,
]), true);
syncToWarehouse($response['items']);
} while (!empty($response['items']));
Better approach
Use a last_updated_at filter if the API supports it, or store a local hash of each record and compare on each run.
$lastRun = $store->get('last_sync_timestamp');
$response = json_decode($client->get('https://company.openapi.com/IT-search', [
'updated_after' => $lastRun,
]), true);
Open questions
- Does the company search API support
updated_afteror equivalent filtering? - Is there a webhook/event stream alternative to polling for changes?
- Could the SDK expose a
since()query builder to make this pattern cleaner?
- Linguagem predominante
- PHP
- Estrelas
- 20
- Forks
- 3
- Métricas de merge de PRs
- Nenhum PR com merge em 30d
Preparar o ambiente
- Sem Dockerfile nem arquivo Docker Compose
- Tem um modelo de pull request
- Ler o guia de contribuição
Primeiros passos
- Leia a issue inteira e depois o guia de contribuição do projeto.
- Comente na issue dizendo que vai assumir — evita que duas pessoas façam o mesmo trabalho.
- Faça um fork do repositório e trabalhe em uma branch.
- Abra um pull request que referencie o número da issue.
Mais de openapi/openapi-php-sdk
-
Improve PHPDoc Consistency Across the CodebaseTalvez livre de novo @Seraphim200001 assumiu há 139 dias e não há nenhum pull request aberto. Aberta
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 48/100
openapi/openapi-php-sdk#36 · 3 comentários ·
-
enhancement help wanted
Dificuldade 5/5 Mais de uma semana Facilidade para iniciantes 25/100
openapi/openapi-php-sdk#34 ·
-
good first issue question
Dificuldade 5/5 Mais de uma semana Facilidade para iniciantes 35/100
openapi/openapi-php-sdk#33 · 2 comentários ·
-
enhancement
Dificuldade 5/5 Mais de uma semana Facilidade para iniciantes 25/100
openapi/openapi-php-sdk#32 ·
-
help wanted question
Dificuldade 5/5 Mais de uma semana Facilidade para iniciantes 25/100
openapi/openapi-php-sdk#31 ·
Todas as issues de openapi/openapi-php-sdk
Issues semelhantes
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 62/100
woocommerce/woocommerce-google-analytics-integration#699 ·
Mantenedores costumam responder em até 1 dia
-
Sidebar highlights two items when plugin routes share a prefix (/plugin/foo and /plugin/foo-bar)Aberta
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 72/100
getgrav/grav-plugin-admin2#195 ·
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 60/100
Mantenedores costumam responder em até 1 dia
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 68/100
ProfessionalWiki/NeoWiki#1675 ·
Mantenedores costumam responder em até 1 dia
-
Incorrect documentationAberta
Dificuldade 1/5 Menos de uma hora Facilidade para iniciantes 88/100