Reporting an issue with util.SizeEstimator, as requested.
Los mantenedores suelen responder en 2 días
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Aptitud para principiantes
- 35/100
- Tipo de issue
- Error
- Claridad
- Necesita aclaración
- Estado de actividad
- Activo
- Área
- backend, distributed-systems
Línea de trabajo
Start by identifying whether the reported IndexError comes from PySpark's Jupyter kernel event loop or from Spark's SizeEstimator warning; the report includes both outputs but no reproduction steps or expected behavior. Read the traceback entry points in ipykernel_launcher.py and Tornado's asyncio loop, then check whether the warning is related. Done means reproducing the failure and establishing which component owns it before proposing a fix.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
WARNING: An illegal reflective access operation has occurred (0 + 8) / 8]
WARNING: Illegal reflective access by org.apache.spark.util.SizeEstimator$ (file:/usr/lib/spark/jars/spark-core_2.12-3.5.3.jar) to field java.lang.ref.Reference.referent
WARNING: Please consider reporting this to the maintainers of org.apache.spark.util.SizeEstimator$
WARNING: Use --illegal-access=warn to enable warnings of further illegal reflective access operations
WARNING: All illegal access operations will be denied in a future release
Traceback (most recent call last):==================================(4 + 1) / 4]
File "", line 198, in _run_module_as_main
File "", line 88, in _run_code
File "/opt/conda/miniconda3/lib/python3.11/site-packages/ipykernel_launcher.py", line 18, in
app.launch_new_instance()
File "/opt/conda/miniconda3/lib/python3.11/site-packages/traitlets/config/application.py", line 1075, in launch_instance
app.start()
File "/opt/conda/miniconda3/lib/python3.11/site-packages/ipykernel/kernelapp.py", line 739, in start
self.io_loop.start()
File "/opt/conda/miniconda3/lib/python3.11/site-packages/tornado/platform/asyncio.py", line 211, in start
self.asyncio_loop.run_forever()
File "/opt/conda/miniconda3/lib/python3.11/asyncio/base_events.py", line 608, in run_forever
self._run_once()
File "/opt/conda/miniconda3/lib/python3.11/asyncio/base_events.py", line 1921, in _run_once
handle = self._ready.popleft()
^^^^^^^^^^^^^^^^^^^^^
IndexError: pop from an empty deque
- Lenguaje dominante
- Scala
- Estrellas
- 44.2k
- Forks
- 29.5k
- Merge medio
- 8 h 43 min
- PR fusionados (30 d)
- 1
Preparar el entorno
- Sin Dockerfile ni archivo de Docker Compose
- Tiene una plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de apache/spark
-
[BUILD] Bump Ivy up to 2.6.0Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 67/100
Los mantenedores suelen responder en 2 días
-
[SQL][CONNECT] SparkConnectClient may drop metadata (auth headers) on retried/reattached RPCs if metadata is a non-list iterablePosiblemente ocupada @zainmirzaaa la tomó hace 61 días. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
Los mantenedores suelen responder en 2 días
-
[CORE] bug report: collision of resource profile idPosiblemente ocupada @ybapat la tomó hace 86 días. Abierto
Dificultad 1/5 Menos de una hora Aptitud para principiantes 82/100
apache/spark#57498 · 1 comentario ·
Los mantenedores suelen responder en 2 días
-
[BUILD] Drop oro dependencyAbierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
apache/spark#57209 · 7 comentarios ·
Los mantenedores suelen responder en 2 días
-
Dificultad 4/5 3-5 días Aptitud para principiantes 48/100
Los mantenedores suelen responder en 2 días
Todos los issues de apache/spark
Issues similares
-
Dificultad 1/5 1-3 horas Aptitud para principiantes 91/100
com-vitthalmirji/toon4s#117 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 74/100
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
zio/zio-blocks#1780 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
digital-asset/participant-query-store#168 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
propensive/soundness#2294 ·
Los mantenedores suelen responder en 1 día