HyperparameterTuner drops content_type when converting InputData to Channel
維護者通常 2 天內回覆
還沒有人認領這個 Issue。
評估
- 難度
- 2/5
- 預估耗時
- 1-3 小時
- 新手友好度
- 48/100
- Issue 類型
- 缺陷
- 描述清晰度
- 描述清楚
- 活躍度
- 停滯
- 技術堆疊
- aws, python
研究方向
從 sagemaker/train/tuner.py 中的 _create_hyperparameter_tuning_job 開始,特別查看第 1362-1373 行,並追蹤 InputData 到 Channel 的轉換。使用 XGBoost 重現所提供的 HyperparameterTuner 案例;當產生的 Channel 保留 content_type,且訓練工作不再因 validate_data_file_path 錯誤而失敗時,工作即完成。
由索引模型根據 Issue 內容生成。
描述
PySDK Version
- PySDK V2 (2.x)
- PySDK V3 (3.x)
Describe the bug
When HyperparameterTuner.tune() receives InputData objects as inputs, it converts them to Channel objects internally but drops the content_type field during conversion. This causes built-in algorithms (e.g., XGBoost) to fail with validate_data_file_path errors because the container doesn't know the data format.
To reproduce
from sagemaker.train.configs import InputData
from sagemaker.train.tuner import HyperparameterTuner
train_input = InputData(
channel_name="train",
data_source="s3://my-bucket/train/train.csv",
content_type="csv", # <-- this gets dropped
)
tuner = HyperparameterTuner(
model_trainer=model_trainer,
objective_metric_name="validation:auc",
hyperparameter_ranges=hyperparameter_ranges,
objective_type="Maximize",
max_jobs=12,
max_parallel_jobs=3,
strategy="Bayesian",
)
tuner.tune(inputs=[train_input])
# All training jobs fail with:
# AlgorithmError: validate_data_file_path(train_path, content_type)
Root Cause
In sagemaker/train/tuner.py, the _create_hyperparameter_tuning_job method converts InputData → Channel without passing content_type:
# tuner.py lines 1362-1373
```python
if isinstance(inp, InputData):
input_data_config.append(Channel(
channel_name=inp.channel_name,
data_source=DataSource(
s3_data_source=S3DataSource(
s3_data_type="S3Prefix",
s3_uri=inp.data_source,
s3_data_distribution_type="FullyReplicated"
)
)
# content_type is missing here!
))
Suggested Fix
if isinstance(inp, InputData):
input_data_config.append(Channel(
channel_name=inp.channel_name,
content_type=inp.content_type, # <-- add this
data_source=DataSource(
s3_data_source=S3DataSource(
s3_data_type="S3Prefix",
s3_uri=inp.data_source,
s3_data_distribution_type="FullyReplicated"
)
)
))
Workaround
Pass Channel objects directly instead of InputData:
from sagemaker.core.shapes import Channel, DataSource, S3DataSource
train_input = Channel(
channel_name="train",
content_type="csv",
data_source=DataSource(
s3_data_source=S3DataSource(
s3_data_type="S3Prefix",
s3_uri="s3://my-bucket/train/train.csv",
s3_data_distribution_type="FullyReplicated",
)
),
)
tuner.tune(inputs=[train_input]) # works correctly
Environment
SageMaker Python SDK version: 3.0.1
Python version: 3.12
Built-in algorithm: XGBoost 1.7-1
- 主要語言
- Python
- 星號
- 2.3k
- 分支
- 1.3k
- 平均合併
- 2 天 21 小時
- 30 天內合併 PR
- 90
環境準備
- 沒有 Dockerfile 或 Docker Compose 檔案
- 沒有 Pull Request 範本
- 閱讀貢獻指南
從這裡開始
- 先讀完整個 Issue,再讀專案的貢獻指南。
- 在 Issue 下留言說明你要接手 —— 這能避免兩個人做同樣的事。
- Fork 儲存庫,在一個分支上完成修改。
- 送出 Pull Request,並在描述裡引用這個 Issue 編號。
aws/sagemaker-python-sdk 的其他 Issue
-
難度 2/5 1-3 小時 新手友好度 72/100
aws/sagemaker-python-sdk#6495 ·
維護者通常 2 天內回覆
-
[Bug] ModelTrainer with no input channels emits InputDataConfig: [], which CreatePipeline rejects (min=1) — v2 omitted the key可能已有人在做 @sagemaker-bot 於 18 天前認領。 未關閉
難度 2/5 1-3 小時 新手友好度 76/100
aws/sagemaker-python-sdk#6156 · 2 則留言 ·
維護者通常 2 天內回覆
-
sagemaker-train should depend on mlflow-skinny, following sagemaker-mlflow 0.5.0可能已有人在做 @mohamedzeidan2021 於 19 天前認領。 未關閉
難度 2/5 半天 新手友好度 72/100
aws/sagemaker-python-sdk#6152 ·
維護者通常 2 天內回覆
-
[Bug] ModelTrainer drops TrainingJobName for PipelineSession, breaking use_custom_job_prefix on TrainingStep可能已有人在做 @mohamedzeidan2021 於 23 天前認領。 未關閉component: pipelines type: bug
難度 2/5 1-3 小時 新手友好度 72/100
aws/sagemaker-python-sdk#5776 · 1 則留言 · 1 個 reaction ·
維護者通常 2 天內回覆
-
`ModelTrainer` bug with method to load hyperparameters from file for Amazon Nova Recipe可能已有人在做 @sagemaker-bot 於 18 天前認領。 未關閉
難度 2/5 1-3 小時 新手友好度 82/100
aws/sagemaker-python-sdk#5770 ·
維護者通常 2 天內回覆
查看 aws/sagemaker-python-sdk 的全部 Issue
相似的 Issue
-
難度 2/5 1-3 小時 新手友好度 77/100
TomerAberbach/profiler-md#733 ·
維護者通常 1 天內回覆
-
難度 2/5 1-3 小時 新手友好度 68/100
its-me-prash/vwgroup-connect-ha#1858 ·
維護者通常 1 天內回覆
-
area: client bug
難度 2/5 1-3 小時 新手友好度 68/100
維護者通常 1 天內回覆
-
bug
難度 2/5 1-3 小時 新手友好度 85/100
leikoilja/ha-google-home#1107 ·
維護者通常 1 天內回覆
-
bug
難度 2/5 1-3 小時 新手友好度 76/100
Graphify-Labs/graphify#4524 · 1 則留言 ·
維護者通常 1 天內回覆