Hacktoberfest 2026: le issue che i maintainer hanno segnato per ottobre, aperte e adatte ai principianti. Sfoglia le issue Hacktoberfest

Cannot use spark_event_logs_s3_uri in PySparkProcessor job

Aperta Adatta ai principianti
  • Qualcosa non va?
#6,253 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub

I maintainer di solito rispondono entro 2 giorni

@rsareddy0329 ci sta già lavorando.

Dal 30/9/2026.

  • #6318 di @jam-jee — chiusa senza merge
  • #6364 di @rsareddy0329 — aperta

Valutazione

Difficoltà
2/5
Tempo stimato
1-3 ore
Idoneità per principianti
78/100
Tipo di issue
Bug
Chiarezza
Specificata chiaramente
Stato di attività
Attiva
Stack tecnologico
python, spark
Ambito
data-engineering, machine-learning

Direzione di ricerca

Inizia in sagemaker-core/src/sagemaker/core/spark/processing.py, in corrispondenza della costruzione di ProcessingOutput per il log degli eventi di PySparkProcessor. Riproduci il problema con una spark_event_logs_s3_uri valida e ispeziona l’interfaccia corrente di ProcessingOutput. Il lavoro è completato quando il job PySparkProcessor si avvia correttamente con i log degli eventi Spark configurati.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

PySDK Version

  • PySDK V2 (2.x)
  • PySDK V3 (3.x)

Describe the bug

Similar to #6252 - PySparkProcessor run no longer handles spark_event_logs_s3_uri due to changes in the ProcessingOutput interface - e.g. regression introduced in 3203e49

To reproduce

Provide any (valid) S3 URI for the spark log location.

Expected behavior

Successfully starts the job.

Screenshots or logs

ValidationError: 4 validation errors for ProcessingOutput
output_name
  Field required [type=missing, input_value={'source': '/opt/ml/proce...oad_mode': 'Continuous'}, input_type=dict]
    For further information visit https://errors.pydantic.dev/2.13/v/missing
source
  Extra inputs are not permitted [type=extra_forbidden, input_value='/opt/ml/processing/spark-events/', input_type=str]
    For further information visit https://errors.pydantic.dev/2.13/v/extra_forbidden
destination
  Extra inputs are not permitted [type=extra_forbidden, input_value='s3://...', input_type=str]
    For further information visit https://errors.pydantic.dev/2.13/v/extra_forbidden
s3_upload_mode
  Extra inputs are not permitted [type=extra_forbidden, input_value='Continuous', input_type=str]
    For further information visit https://errors.pydantic.dev/2.13/v/extra_forbidden

The cause of the error is here:

            output = ProcessingOutput(
                source=_SparkProcessorBase._spark_event_log_default_local_path,
                destination=spark_event_logs_s3_uri,
                s3_upload_mode="Continuous",
            )

System information

  • AWS SageMaker Studio 4.4.3
  • sagemaker-core: 2.20
  • Python 3.12.14
  • uname: Linux default 6.12.103-127.188.amzn2023.x86_64 SMP PREEMPT_DYNAMIC Tue Aug 25 15:42:53 UTC 2026 x86_64 x86_64 x86_64 GNU/Linux
Lingua principale
Python
Stelle
2.3k
Fork
1.3k
Merge medio
3g 2h
PR unite (30g)
70

Preparare l'ambiente

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di aws/sagemaker-python-sdk

Tutte le issue di aws/sagemaker-python-sdk

Issue simili

Altre issue su Python

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.