Fast upsert mode
メンテナーはふだん 1 日以内に返信
まだ誰も着手していません。
評価
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 初心者へのやさしさ
- 22/100
調査の方向性
The payload names no source files or tests, so locate the current drop-and-replace load path in the DataPusher+ Python code first. Trace how a resource's datastore table is created and replaced, then find where a per-resource metadata flag could switch that path. Done means an upsert-flagged resource with a matching schema is merged via a temporary table and INSERT ... ON CONFLICT, and a mismatched schema aborts with a clear message. The design is still open, so agree the approach with maintainers first.
索引モデルが issue の本文から書いたものです。
説明
Currently, DP+ like Datapusher and xloader, only does drop & replace and doesn't do upserts.
It'd be great if DP+ can support upserts in a performant way.
This can be done by:
- adding a resource-level metadata field that the Data Publisher can set to enable upsert mode.
- when a resource has upsert mode enabled, instead of drop & replace, DP+ will:
- compare the schemas of the existing resource and the new CSV to see if they are identical (qsv can do this very quickly)
- if they're not, DP+ will abort stating that the resource is in upsert mode and the schemas do not match
- if the schemas are identical, do a PostgreSQL copy to a temporary table of the file to be pushed
- then do a INSERT INTO ON CONFLICT DO UPDATE to upsert the temporary table into the existing resource
- the temporary table is then deleted
- 主要言語
- Python
- スター
- 47
- フォーク
- 33
- 平均マージ
- 2時間 28分
- マージ済み PR（30日）
- 10
環境構築
このプロジェクトには開発コンテナ、Dockerfile、コントリビューションガイドがありません。まず README を読み、一般的な手順ははじめてのコントリビューションガイドを参照してください。
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
dathere/datapusher-plus のほかの issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 65/100
dathere/datapusher-plus#359 ·
メンテナーはふだん 1 日以内に返信
-
"Total elapsed time" in the JOB DONE line is ~1.79 billion seconds (perf_counter overwrites the time.time() start)対応中かも @tino097 が 14 日前に担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 35/100
dathere/datapusher-plus#355 ·
メンテナーはふだん 1 日以内に返信
-
FormulaProcessing stage always skipped on CKAN 2.10+: ckan.plugins is a list, stage calls .split() on it対応中かも @tino097 が 14 日前に担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 25/100
dathere/datapusher-plus#354 ·
メンテナーはふだん 1 日以内に返信
-
難易度 4/5 3〜5日 初心者へのやさしさ 48/100
dathere/datapusher-plus#340 ·
メンテナーはふだん 1 日以内に返信
-
難易度 3/5 1〜2日 初心者へのやさしさ 53/100
dathere/datapusher-plus#338 ·
メンテナーはふだん 1 日以内に返信
dathere/datapusher-plus の issue をすべて見る
似ている issue
-
needs-triage
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
gke-labs/kube-agents#5671 ·
メンテナーはふだん 1 日以内に返信
-
docs(auth): Method B step 4 should tell users to tick "Use this client for an AI-powered agent"オープンdocumentation next-release v0.9.6
難易度 1/5 1時間未満 初心者へのやさしさ 88/100
khuisman/mcp-gee-sweet#1446 ·
メンテナーはふだん 1 日以内に返信
-
model:sonnet runtime:claude security size:S
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
FootprintAI/Containarium#3671 ·
メンテナーはふだん 1 日以内に返信
-
HolidayBase: reassigning `language` does not re-initialize translations or re-populate holidays対応中かも @shikhabhadoria が今日担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
vacanza/holidays#4116 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
bug CLI exec
難易度 2/5 1〜3時間 初心者へのやさしさ 84/100
メンテナーはふだん 1 日以内に返信