BusError in uvloop within loop extract_stack for nested async_generators
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Aptitud para principiantes
- 35/100
Línea de trabajo
Reproduce el caso de async_generator anidado en Python 3.12.4 y macOS con el modo de depuración de uvloop habilitado, utilizando el informe de stack proporcionado como referencia. Inspecciona uvloop/handles/handle.pyx y uvloop/cbhandles.pyx alrededor de extract_stack, determina la causa del Bus Error y verifica que el bloqueo se haya resuelto sin deshabilitar el modo de depuración.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
- uvloop version:
- 0.19.0 (tested 0.17.0 to 0.19.0)
- Python version: 3.12.4
- Platform: OSX Ventura 13.4/ Darwin 22.5.0
- Can you reproduce the bug with
PYTHONASYNCIODEBUGin env?: - This bug only occurs if
-X devorPYTHONDEVMODE=1orPYTHONASYNCIODEBUG=1orloop.set_debug(True) - Does uvloop behave differently from vanilla asyncio? How?:
- Vanilla asyncio and uvloop with
loop.set_debug(False)do not crash in nested async_generator.asendcalls
I have a pattern called DeferredExecutor which basically allows one to write:
class Foo:
@database(transaction=True, iterable=False)
async def save(self, *args, **kwargs):
# /snip
rows = yield DeferredQuery("some sql")
assert isinstance(rows, tuple)
yield Return(...)
And have it be wrapped by a decorator that will call the async_generator, run the deferred queries against a DB and .asend( the result back into the generator, which will throw an StopAsyncIteration at the conclusion of the generator, and allows me to catch it and end the generators execution.
I am getting my database access object library to run on Python 3.12 (jumping from Python 3.7).
However, on Python 3.12, a particular integration test that uses a particularly reduced implementation:
class Tenant:
@database(iterable=False, transaction=True)
async def invite_users(cls, *tenant_user_pairs, instance=None):
invites = (instance or cls).create_invites_for(*tenant_user_pairs)
gen_event_loop = Invite.save.raw_iterable(*invites)
result = None
while True:
result = await gen_event_loop.asend(result)
if isinstance(result, Return):
break
result = yield result
yield result # StopAsyncIteration gets thrown here
causes uvloop to crash with a Bus Error on OSX but only when loop.set_debug(True) (which is autoset via the environment variables or interpreter devmode)
Regular asyncio, debug or not, works just fine. If I patch the EventLoopPolicy to.set_debug(False) like:
def patch_uvloop():
if uvloop_version_info < (99, 99, 99) and platform.system() == 'Darwin':
cls = uvloop.EventLoopPolicy
if hasattr(cls, '__patched__'):
return cls
class EventLoopPolicy(cls):
__patched__ = True
# ARJ: so uvloop will crash the entire interpreter sometimes
# and the crash originates on OSX. Disable debug mode
# (which keeps it from touching uvloop's extract_stack() which
# explodes badly)
def _loop_factory(self):
loop = super()._loop_factory()
loop.set_debug(False)
return loop
uvloop.EventLoopPolicy = EventLoopPolicy
asyncio.set_event_loop_policy(uvloop.EventLoopPolicy())
Then the crashes never happen.
I do have lldb/gdb and the patience to recompile things with more debugging information (provided I know -how-) but a careful inspection of the following stack trace shows that it explodes after going into the extract_stack function of uvloop:
- https://github.com/MagicStack/uvloop/blob/6c770dc3fbdd281d15c2ad46588c139696f9269c/uvloop/handles/handle.pyx#L118-L119
- https://github.com/MagicStack/uvloop/blob/6c770dc3fbdd281d15c2ad46588c139696f9269c/uvloop/cbhandles.pyx#L14-L15
This does remind me of https://github.com/python/cpython/issues/94694
I wonder if the extract_stack function is tolerant of encountering negative numbers in the offset extraction of the trace.
Stack report:
stack.txt
- Lenguaje dominante
- Cython
- Estrellas
- 11.9k
- Forks
- 615
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Guía de contribución
No hay ninguna guía de contribución indexada para este repositorio
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de MagicStack/uvloop
-
License not clear Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
MagicStack/uvloop#759 ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
MagicStack/uvloop#741 · 2 reacciones ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
MagicStack/uvloop#702 · 8 comentarios · 9 reacciones ·
-
Dificultad 4/5 3-5 días Aptitud para principiantes 25/100
MagicStack/uvloop#766 ·
-
Directly constructed subprocess pipe protocols segfault when callbacks use a non-process owner Abierto
Dificultad 4/5 3-5 días Aptitud para principiantes 52/100
MagicStack/uvloop#765 ·
Todos los issues de MagicStack/uvloop
Issues similares
-
Area: Excel support
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
orbeon/orbeon-forms#7893 ·
-
essnmx good first issue
Dificultad 1/5 Menos de una hora Aptitud para principiantes 95/100
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
yeti-platform/yeti#1380 ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
modelcontextprotocol/python-sdk#3566 ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 70/100
griptape-ai/griptape#2353 ·