ETL: incremental company registry sync using change detection
まだ誰も着手していません。
評価
調査の方向性
Start by checking the SDK’s company search API entry point and the API documentation to determine whether it supports filtering by update time or offers a webhook or event stream. Then assess whether a since() query builder fits the SDK; done means identifying a supported incremental sync approach and documenting or implementing the corresponding SDK capability.
索引モデルが issue の本文から書いたものです。
説明
Scenario
Teams building data warehouses over the Italian company registry (Registro Imprese) need to run incremental syncs — only fetching records that changed since the last run — rather than full reloads.
Current approach (inefficient)
// Full reload every night — very expensive in API credits
$page = 1;
do {
$response = json_decode($client->get('https://company.openapi.com/IT-search', [
'page' => $page++,
]), true);
syncToWarehouse($response['items']);
} while (!empty($response['items']));
Better approach
Use a last_updated_at filter if the API supports it, or store a local hash of each record and compare on each run.
$lastRun = $store->get('last_sync_timestamp');
$response = json_decode($client->get('https://company.openapi.com/IT-search', [
'updated_after' => $lastRun,
]), true);
Open questions
- Does the company search API support
updated_afteror equivalent filtering? - Is there a webhook/event stream alternative to polling for changes?
- Could the SDK expose a
since()query builder to make this pattern cleaner?
- 主要言語
- PHP
- スター
- 20
- フォーク
- 3
- PR マージ指標
- 30日以内にマージされた PR はありません
環境構築
- Dockerfile・Docker Compose ファイルなし
- プルリクエストのテンプレートあり
- コントリビューションガイドを読む
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
openapi/openapi-php-sdk のほかの issue
-
Improve PHPDoc Consistency Across the Codebase再び着手できるかも @Seraphim200001 が 141 日前に担当しましたが、オープン中のプルリクエストはありません。 オープンhacktoberfest help wanted
難易度 4/5 3〜5日 初心者へのやさしさ 48/100
openapi/openapi-php-sdk#36 · コメント 3 件 ·
-
enhancement hacktoberfest help wanted
難易度 5/5 1週間以上 初心者へのやさしさ 25/100
openapi/openapi-php-sdk#34 ·
-
good first issue hacktoberfest question
難易度 5/5 1週間以上 初心者へのやさしさ 35/100
openapi/openapi-php-sdk#33 · コメント 2 件 ·
-
enhancement hacktoberfest
難易度 5/5 1週間以上 初心者へのやさしさ 25/100
openapi/openapi-php-sdk#32 ·
-
hacktoberfest help wanted question
難易度 5/5 1週間以上 初心者へのやさしさ 25/100
openapi/openapi-php-sdk#31 ·
openapi/openapi-php-sdk の issue をすべて見る
似ている issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 66/100
Automattic/blocks-engine#2866 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 62/100
community-scripts/ProxmoxVE#17944 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 62/100
EasyCorp/EasyAdminBundle#7861 · コメント 2 件 ·
メンテナーはふだん 1 日以内に返信
-
enhancement good first issue help wanted
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
-
backend gamification P0
難易度 2/5 1〜3時間 初心者へのやさしさ 66/100
semanadeinformatica/website#461 ·