microsoft/SynapseML

Featurizer should provide option to pass through missing values as Double.NaN instead of removing rows (currently the default)

Open

#304 opened on 2018年5月18日

GitHub で見る
 (5 comments) (0 reactions) (1 assignee)Scala (861 forks)batch import
enhancementgood first issuehelp wanted

Repository metrics

Stars
 (5,228 stars)
PR merge metrics
 (平均マージ 23h 16m) (30d で 2 merged PRs)

説明

Hi! Using lightGBM I faced another problem. I'm not sure if it is bug or feature :) but in our data we have a lot of empty values, so before we used sparse vector to store features, and it worked fine with our previous lib. But when i tried to use featurizer, that you provide - i mentioned, that you skip all raws if any nulls are presents as a feature. you can see it in example in attachment. So is it possible to have sparse feature vector for lightGBM training?

https://gist.github.com/ekaterina-sereda-rf/929183b9bcbbf5baf15eec3e81329992

コントリビューターガイド

調査方針
SynapseML コードベース内の Featurizer 実装を調べてください。おそらく src/main/scala にあります。現在の動作では、null の特徴を持つ行が削除されますが、この問題では、欠損値を Double.NaN として保持するオプションが要求されています。Featurizer クラスまたはオブジェクトを探し、null 処理ロジックがどこにあるかを特定してください。変更には、設定パラメータ（例：setHandleMissing）の追加と、行を削除するか NaN を渡すかを選択する変換ロジックの修正が含まれます。この問題には担当者が割り当てられており、古い問題であるため、関連する PR が存在するか、またはメンテナーがコメントでガイダンスを提供しているかどうかを確認することをお勧めします。
技術スタック
scala
領域
datamachine learning
Issue 種別
機能
難度新しい貢献者にとっての実装難度です。1 は非常に小さな変更、5 は専門的な作業です。
3
推定時間経験ある貢献者が調査、実装、テスト、pull request 準備にかけるおおよその時間範囲です。
半日
活動状況Issue が今どれだけ取り組みやすいかを示します。新しい、活発、古い、ブロック中、またはメンテナー入力待ちなどです。
アクティブ
明確さ期待される変更、受け入れ条件、次の手順がどれだけ明確かを示します。
明確
前提条件
ScalaApache Spark
初心者向け度初回貢献者にどれだけ取り組みやすいかを 1-100 で推定したスコアです。
40