`ModelTrainer` bug with method to load hyperparameters from file for Amazon Nova Recipe
Maintainer antworten meist innerhalb von 2 Tagen
Bewertung
- Schwierigkeit
- 2/5
- Geschätzter Aufwand
- 1-3 Stunden
- Anfängerfreundlichkeit
- 82/100
- Issue-Typ
- Bug
- Klarheit
- Klar beschrieben
- Aktivitätsstatus
- Ruhig
- Tech-Stack
- python
- Bereich
- machine-learning
Rechercherichtung
Beginne in sagemaker-train/src/sagemaker/train/model_trainer.py bei der ModelTrainer.from_recipe-Logik etwa in den Zeilen 1215-1220. Verfolge den Pfad für String-Hyperparameter und vergleiche die referenzierten Validierungsmethoden. Erledigt ist es, wenn eine Zeichenkette für eine Hyperparameter-Datei bei einem Amazon Nova Recipe nicht mehr AttributeError auslöst und über die vorgesehene Methode abgerufen wird.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Beschreibung
**PySDK Version**
- PySDK V2 (2.x)
- [x ] PySDK V3 (3.x)
Describe the bug
Code is using method self._validate_and_load_hyperparameters_file instead of self._validate_and_fetch_hyperparameters_file`:
if is_nova:
if hyperparameters and isinstance(hyperparameters, str):
hyperparameters = cls._validate_and_load_hyperparameters_file(hyperparameters) # bug
model_trainer_args["hyperparameters"].update(hyperparameters)
elif hyperparameters and isinstance(hyperparameters, dict):
model_trainer_args["hyperparameters"].update(hyperparameters)
To reproduce
from sagemaker.train.model_trainer import ModelTrainer
from sagemaker.train.configs import Compute
model_trainer = ModelTrainer.from_recipe(
training_image="327873000638.dkr.ecr.us-east-1.amazonaws.com/hyperpod-recipes:verl-v1.0.0-smtj",
training_recipe="training/nova/nova_1_0/nova_lite/CPT/nova_lite_1_0_p5x16_gpu_pretrain",
compute=Compute(instance_type="ml.m5.xlarge"),
hyperparameters="test",
)
│ │
│ 287 │ │ │ private_attributes = self.__dict__.get('__private_attributes__') │
│ 288 │ │ │ if private_attributes and item in private_attributes: │
│ 289 │ │ │ │ return private_attributes[item] │
│ ❱ 290 │ │ │ raise AttributeError(item) │
│ 291 │ │
│ 292 │ @classmethod │
│ 293 │ def __prepare__(cls, *args: Any, **kwargs: Any) -> dict[str, object]: │
╰──────────────────────────────────────────────────────────────────────────────────────────────────╯
AttributeError: _validate_and_load_hyperparameters_file
Expected behavior
No AttributeError to be raised when using hyperparameter file (string).
- Vorherrschende Sprache
- Python
- Sterne
- 2.3k
- Forks
- 1.3k
- Ø Merge
- 3 T. 10 Std.
- Gemergte PRs (30 T.)
- 77
Entwicklungsumgebung
- Kein Dockerfile und keine Docker-Compose-Datei
- Keine Pull-Request-Vorlage
- Beitragsleitfaden lesen
Erste Schritte
- Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
- Forken Sie das Repository und arbeiten Sie in einem Branch.
- Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.
Mehr aus aws/sagemaker-python-sdk
-
Cannot use spark_event_logs_s3_uri in PySparkProcessor jobEvtl. vergeben @rsareddy0329 hat das vor 6 Tagen übernommen. Offen
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 78/100
aws/sagemaker-python-sdk#6253 ·
Maintainer antworten meist innerhalb von 2 Tagen
-
[Bug] V3 Hyperparameter Tuning Pipeline page labelled "Download Data" in navigation due to missing title cellEvtl. vergeben @admivsn hat das vor 34 Tagen übernommen. Offen
Schwierigkeit 1/5 Unter einer Stunde Anfängerfreundlichkeit 93/100
aws/sagemaker-python-sdk#6232 ·
Maintainer antworten meist innerhalb von 2 Tagen
-
[Bug] ModelTrainer with no input channels emits InputDataConfig: [], which CreatePipeline rejects (min=1) — v2 omitted the keyEvtl. vergeben @sagemaker-bot hat das vor 6 Tagen übernommen. Offen
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 76/100
aws/sagemaker-python-sdk#6156 · 2 Kommentare ·
Maintainer antworten meist innerhalb von 2 Tagen
-
sagemaker-train should depend on mlflow-skinny, following sagemaker-mlflow 0.5.0Evtl. vergeben @mohamedzeidan2021 hat das vor 7 Tagen übernommen. Offen
Schwierigkeit 2/5 Ein halber Tag Anfängerfreundlichkeit 72/100
aws/sagemaker-python-sdk#6152 ·
Maintainer antworten meist innerhalb von 2 Tagen
-
ModelTrainer generates sm_train.sh with CRLF line endings on Windows causing training job failureEvtl. vergeben @MohammedAlkindi hat das vor 25 Tagen übernommen. Offen
Schwierigkeit 1/5 Unter einer Stunde Anfängerfreundlichkeit 88/100
aws/sagemaker-python-sdk#5904 · 1 Reaktion ·
Maintainer antworten meist innerhalb von 2 Tagen
Alle Issues in aws/sagemaker-python-sdk
Ähnliche Issues
-
needs-human needs-triage
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 76/100
gke-labs/kube-agents#2400 · 1 Kommentar ·
Maintainer antworten meist innerhalb von 1 Tag
-
Device Details tables: FS/SF columns contradict each other (nfet_01v8 Vt row, pfet_01v8 Idsat row)Offen
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 75/100
google/skywater-pdk#450 ·
-
Drained trajectory arrays are overwritten when the sequence buffer is reusedEvtl. vergeben @sylvesterkaczmarek hat das heute übernommen. Offen
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 78/100
google-deepmind/bsuite#56 ·
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 82/100
LearningCircuit/local-deep-research#7206 ·
Maintainer antworten meist innerhalb von 1 Tag
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 68/100
chingu-voyages/V62-tier3-team-33#285 ·
Maintainer antworten meist innerhalb von 1 Tag