Read the GeoSuite from hosted parquet files
まだ誰も着手していません。
評価
調査の方向性
Start by reading get_statcan_geo_suite() and get_statcan_geographic_attributes() in the repository, then review issue #233 for the download, caching, and refresh pattern. The work depends on parquet files being hosted by the private censusmapper-import repository, so first confirm they are available and identify the years and metadata they contain. Done means the function reads all hosted years, supports language labels, attaches metadata, and has coverage for the described table and numeric column cases.
索引モデルが issue の本文から書いたものです。
説明
Waiting on: the GeoSuite tables being built and uploaded as parquet files, which is tracked in the private censusmapper-import repo (issue 3). This issue is for rewriting get_statcan_geo_suite() once the files are hosted.
Plan
Rewrite get_statcan_geo_suite() along the lines of get_statcan_geographic_attributes() in 0.6.2 (#233):
- Read the hosted parquet files with duckdb, using the same download, caching and refresh code.
- Add a
languageparameter for the column labels, defaulting to thecancensus.languageoption. - Attach the file's metadata to the result, and say where the data comes from.
- Columns will have short names that are the same across census years and match the style of the attribute files, so the two can be joined without renaming.
- Cover all years that get hosted, instead of only 2021.
Problems with the current function that this fixes
- Only 2021 is supported, and Statistics Canada blocks programmatic downloads of the zip file.
- Representative point columns, e.g.
DArplatandCSDrplamx, are returned as text, since only columns matchingpop_,tdwell_,urdwell_orareaare converted to numbers. - Some tables can't be requested at all: CCS, the
_Ppart tables, theCMA_CA_NCMA_CAtables, and the code tables likeCSDTYPE.
For the release
- Column names will change, so this is a breaking change for anyone using
get_statcan_geo_suite()and needs a news entry like the one for the attribute files. - Point out the old
geo_suite_<year>cache folders once per session, the same way the old attribute files are pointed out now.
Refs #228, #233
- 主要言語
- HTML
- スター
- 90
- フォーク
- 14
- PR マージ指標
- 30日以内にマージされた PR はありません
環境構築
このプロジェクトには開発コンテナ、Dockerfile、コントリビューションガイドがありません。まず README を読み、一般的な手順ははじめてのコントリビューションガイドを参照してください。
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
mountainMath/cancensus のほかの issue
-
user agent対応中かも @mountainMath が 3 日前に担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 65/100
mountainMath/cancensus#231 ·
-
Provide geographic attribute files as hosted parquet, including pre-2006 censuses対応中かも @mountainMath が 3 日前に担当しました。 オープンenhancement
難易度 5/5 1週間以上 初心者へのやさしさ 38/100
mountainMath/cancensus#233 · コメント 2 件 ·
-
Translate API level labelling to "labelled" columns対応中かも @mountainMath が 3 日前に担当しました。 オープン
難易度 4/5 3〜5日 初心者へのやさしさ 28/100
mountainMath/cancensus#230 · コメント 1 件 ·
-
French language labels対応中かも @mountainMath が 3 日前に担当しました。 オープンenhancement
難易度 4/5 1〜2日 初心者へのやさしさ 15/100
mountainMath/cancensus#229 · コメント 2 件 ·
-
bug
難易度 5/5 1週間以上 初心者へのやさしさ 25/100
mountainMath/cancensus#228 · コメント 2 件 ·
mountainMath/cancensus の issue をすべて見る
似ている issue
-
csharp good first issue
難易度 2/5 1〜3時間 初心者へのやさしさ 88/100
メンテナーはふだん 1 日以内に返信
-
documentation
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 69/100
LibChecker/LibChecker-Rules#1455 ·
-
bug frontend priority: medium size: xs
難易度 2/5 1〜3時間 初心者へのやさしさ 70/100
メンテナーはふだん 1 日以内に返信
-
data-engineering week-1
難易度 2/5 1〜3時間 初心者へのやさしさ 70/100