Columns and DataType Not Explicitly Set on line 62 of data_utils.py
メンテナーはふだん 1 日以内に返信
まだ誰も着手していません。
評価
この issue はまだ評価されていません。
説明
Hello!
I found an AI-Specific Code smell in your project.
The smell is called: Columns and DataType Not Explicitly Set
You can find more information about it in this paper: https://dl.acm.org/doi/abs/10.1145/3522664.3528620.
According to the paper, the smell is described as follows:
| Problem | If the columns are not selected explicitly, it is not easy for developers to know what to expect in the downstream data schema. If the datatype is not set explicitly, it may silently continue the next step even though the input is unexpected, which may cause errors later. The same applies to other data importing scenarios. |
|---|---|
| Solution | It is recommended to set the columns and DataType explicitly in data processing. |
| Impact | Readability |
Example:
### Pandas Column Selection
import pandas as pd
df = pd.read_csv('data.csv')
+ df = df[['col1', 'col2', 'col3']]
### Pandas Set DataType
import pandas as pd
- df = pd.read_csv('data.csv')
+ df = pd.read_csv('data.csv', dtype={'col1': 'str', 'col2': 'int', 'col3': 'float'})
You can find the code related to this smell in this link: https://github.com/GoogleCloudPlatform/python-docs-samples/blob/161448f276cd6fbe697c83e2ec55c4828e9143fa/people-and-planet-ai/timeseries-classification/data_utils.py#L52-L72.
I also found instances of this smell in other files, such as:
File: https://github.com/GoogleCloudPlatform/python-docs-samples/blob/master/composer/2022_airflow_summit/data_analytics_process_expansion.py#L140-L150 Line: 145
.
I hope this information is helpful!
- 主要言語
- Jupyter Notebook
- スター
- 8.1k
- フォーク
- 6.7k
- 平均マージ
- 4日 4時間
- マージ済み PR（30日）
- 8
環境構築
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
GoogleCloudPlatform/python-docs-samples のほかの issue
-
samples
難易度 2/5 1〜3時間 初心者へのやさしさ 88/100
GoogleCloudPlatform/python-docs-samples#14609 ·
メンテナーはふだん 1 日以内に返信
-
samples
難易度 1/5 1時間未満 初心者へのやさしさ 92/100
GoogleCloudPlatform/python-docs-samples#14610 ·
メンテナーはふだん 1 日以内に返信
-
samples
難易度 2/5 1〜3時間 初心者へのやさしさ 88/100
GoogleCloudPlatform/python-docs-samples#14611 ·
メンテナーはふだん 1 日以内に返信
-
chore(generative_ai) Update model references for generative_ai samples再び着手できるかも @XrossFox が 152 日前に担当しましたが、オープン中のプルリクエストはありません。 オープンsamples
GoogleCloudPlatform/python-docs-samples#14117 · 担当者 1 名 ·
メンテナーはふだん 1 日以内に返信
-
Fix Pipeline dependency issues for geospatial-classification/serving_app再び着手できるかも @XrossFox が 164 日前に担当しましたが、オープン中のプルリクエストはありません。 オープンsamples
GoogleCloudPlatform/python-docs-samples#14091 · 担当者 1 名 ·
メンテナーはふだん 1 日以内に返信