Pipeline parameters used with DataPath and DataPathComputeBinding to specify side inputs of Parallel pipeline
まだ誰も着手していません。
評価
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 初心者へのやさしさ
- 35/100
- issue の種類
- バグ
- 明瞭さ
- おおむね明確
- 活発さ
- 停滞
- 技術スタック
- azure, python
調査の方向性
PipelineParameter API ページとリンクされている AzureML-Docset ソースファイルから始め、azureml-core==1.40.0.post2 と azureml-pipeline==1.40.0 を使用して例を再現します。文書化されている DataPath/DataPathComputeBinding の使用方法と、報告された ParallelRunStep エラーを比較します。ドキュメントまたはサポート対象バージョンに関するガイダンスが動作を正確に反映していれば完了です。
索引モデルが issue の本文から書いたものです。
説明
[Enter feedback here]
I'm following this example to create a PipelineParameters for my Parallel pipeline
from azureml.core.datastore import Datastore
from azureml.data.datapath import DataPath, DataPathComputeBinding
from azureml.pipeline.steps import PythonScriptStep
from azureml.pipeline.core import PipelineParameter
datastore = Datastore(workspace=workspace, name="workspaceblobstore")
datapath = DataPath(datastore=datastore, path_on_datastore='input_data')
data_path_pipeline_param = (PipelineParameter(name="input_data", default_value=datapath),
DataPathComputeBinding(mode='mount'))
train_step = PythonScriptStep(script_name="train.py",
arguments=["--input", data_path_pipeline_param],
inputs=[data_path_pipeline_param],
compute_target=compute_target,
source_directory=project_folder)
This is my code to create the pipeline with the parameters
path = DataPath(datastore=default_store, path_on_datastore='path')
input_param= (PipelineParameter(name="param_name", default_value=path), DataPathComputeBinding(mode='mount'))
parallel_run_config = ParallelRunConfig(
source_directory=script_dir,
entry_script='script.py', # the user script to run against each input
partition_keys=['key'],
error_threshold=50,
output_action='append_row',
environment=environment,
compute_target=compute_target,
node_count=2,
run_invocation_timeout=1200
)
parallel_run_step = ParallelRunStep(
name='test-batch-inference',
inputs=[partition_input],
side_inputs=[input1, input2, input_param],
output=output_dir,
parallel_run_config=parallel_run_config,
arguments=['--input_param', input_param],
allow_reuse=False
)
And it raised this error:
Exception: Step input must be of any type: (<class 'azureml.data.dataset_consumption_config.DatasetConsumptionConfig'>, <class 'azureml.pipeline.core.pipeline_output_dataset.PipelineOutputFileDataset'>, <class 'azureml.pipeline.core.pipeline_output_dataset.PipelineOutputTabularDataset'>, <class 'azureml.data.output_dataset_config.OutputFileDatasetConfig'>, <class 'azureml.data.output_dataset_config.OutputTabularDatasetConfig'>, <class 'azureml.data.output_dataset_config.LinkFileOutputDatasetConfig'>, <class 'azureml.data.output_dataset_config.LinkTabularOutputDatasetConfig'>), found <class 'tuple'>
I'm using azureml-core==1.40.0.post2, azureml-pipeline==1.40.0
It's seems like the sample code is not supported with these version? Before trying this datapath as pipeline parameter, I tried int type input and its just work fine
Document Details
⚠ Do not edit this section. It is required for docs.microsoft.com ➟ GitHub issue linking.
- ID: 8e3ec7f7-25c2-8f63-331c-2eb62ffb73c7
- Version Independent ID: 4e31dffb-12fd-85d9-a1a2-aa038017d075
- Content: azureml.pipeline.core.graph.PipelineParameter class - Azure Machine Learning Python
- Content Source: AzureML-Docset/stable/docs-ref-autogen/azureml-pipeline-core/azureml.pipeline.core.graph.PipelineParameter.yml
- Service: machine-learning
- Sub-service: core
- GitHub Login: @DebFro
- Microsoft Alias: debfro
- 主要言語
- Jupyter Notebook
- スター
- 4.4k
- フォーク
- 2.6k
- PR マージ指標
- 30日以内にマージされた PR はありません
コントリビューションガイド
このリポジトリのコントリビューションガイドは索引されていません
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
Azure/MachineLearningNotebooks のほかの issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
Azure/MachineLearningNotebooks#1975 · コメント 1 件 ·
-
duplicates オープン
難易度 1/5 1時間未満 初心者へのやさしさ 68/100
Azure/MachineLearningNotebooks#1960 ·
-
machine オープン
難易度 5/5 1週間以上 初心者へのやさしさ 10/100
Azure/MachineLearningNotebooks#1987 ·
-
難易度 5/5 1週間以上 初心者へのやさしさ 25/100
Azure/MachineLearningNotebooks#1985 · コメント 1 件 ·
-
難易度 3/5 1〜2日 初心者へのやさしさ 35/100
Azure/MachineLearningNotebooks#1981 · リアクション 1 件 ·
Azure/MachineLearningNotebooks の issue をすべて見る
似ている issue
-
Area: Excel support
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
orbeon/orbeon-forms#7893 ·
-
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
docToolchain/docToolchain#1705 ·
-
kb-infra-drift
難易度 2/5 1〜3時間 初心者へのやさしさ 70/100
OCHA-DAP/ds-knowledge-base#653 · コメント 1 件 ·
-
area/dev-productivity area/disaster-recovery area/ipcei kind/enhancement
難易度 2/5 1〜3時間 初心者へのやさしさ 70/100
-
namespace operations
難易度 1/5 1時間未満 初心者へのやさしさ 90/100
EclipseFdn/open-vsx.org#13419 ·