Hacktoberfest 2026 : les issues que les mainteneurs ont marquées pour octobre, ouvertes et accessibles aux débutants. Parcourir les issues Hacktoberfest

S3FileSystem.close_session raise "attached to a different loop"

Ouverte
  • Quelque chose ne va pas ?
#2,785 1 commentaire 0 réactions 0 personnes assignées Voir sur GitHub

Les mainteneurs répondent en général sous 1 jour

Personne n'a encore pris cette issue.

Évaluation

Difficulté
4/5
Temps estimé
3-5 jours
Accessibilité débutants
48/100
Type d'issue
Bug
Clarté
Plutôt claire
Activité
Calme
Stack technique
aws, python
Domaine
backend, cloud

Piste de recherche

Commencez par retracer le cycle de vie de threading.local() S3FileSystem de FsspecFileIO et le nettoyage weakref de S3FileSystem.close_session décrit ici. Reproduisez l’échec avec des requêtes concurrentes sur une table Iceberg, puis vérifiez que l’arrêt de l’interpréteur ne déclenche plus l’erreur attached-to-a-different-loop.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Description

Apache Iceberg version

main branch

Please describe the bug 🐞

Description

This error message does not appear consistently. In my case, it is reliably triggered when performing concurrent queries on an Iceberg table, but it does not occur when querying the same table with a single process or when querying other tables.

This error occurs during the execution of weakref when the Python interpreter's cleanup process is triggered.

The error message is as follows

Traceback (most recent call last):
  File "/home/*/python3.10/site-packages/aiobotocore/session.py", line 36, in __aexit__
    await self._client.__aexit__(exc_type, exc_val, exc_tb)
  File "/home/*/python3.10/site-packages/aiobotocore/client.py", line 644, in __aexit__
    await self._endpoint.http_session.__aexit__(exc_type, exc_val, exc_tb)
  File "/home/*/python3.10/site-packages/aiobotocore/httpsession.py", line 109, in __aexit__
    await self._exit_stack.aclose()
  File "/home/*/python3.10/contextlib.py", line 656, in aclose
    await self.__aexit__(None, None, None)
  File "/home/*/python3.10/contextlib.py", line 714, in __aexit__
    raise exc_details[1]
  File "/home/*/python3.10/contextlib.py", line 697, in __aexit__
    cb_suppress = await cb(*exc_details)
  File "/home/*/python3.10/site-packages/aiohttp/client.py", line 1483, in __aexit__
    await self.close()
  File "/home/*/python3.10/site-packages/aiohttp/client.py", line 1349, in close
    await self._connector.close()
  File "/home/*/python3.10/site-packages/aiohttp/connector.py", line 1044, in close
    await super().close(abort_ssl=abort_ssl or self._ssl_shutdown_timeout == 0)
RuntimeError: Task <Task pending name='Task-12' coro=<ClientCreatorContext.__aexit__() running at /home/*/python3.10/site-packages/aiobotocore/session.py:36>> got Future <Task pending name='Task-13' coro=<_wait_for_close() running at /home/*/python3.10/site-packages/aiohttp/connector.py:136>> attached to a different loop
ERROR:asyncio:Task exception was never retrieved
future: <Task finished name='Task-12' coro=<ClientCreatorContext.__aexit__() done, defined at /home/*/python3.10/site-packages/aiobotocore/session.py:35> exception=RuntimeError("Task <Task pending name='Task-12' coro=<ClientCreatorContext.__aexit__() running at /home/*/python3.10/site-packages/aiobotocore/session.py:36>> got Future <Task pending name='Task-13' coro=<_wait_for_close() running at /home/*/python3.10/site-packages/aiohttp/connector.py:136>> attached to a different loop")>

Reason

This bug maybe be caused by #2495 . I revert #2495 and it can work normally.

In #2495 :

In FsspecFileIO, the S3FileSystem instance—which carries an event loop—is stored in threading.local(). This very likely (though I currently lack concrete evidence; it may be caused in combination with other logic) leads to the error during garbage collection at program shutdown.

Willingness to contribute
  • I can contribute a fix for this bug independently
  • I would be willing to contribute a fix for this bug with guidance from the Iceberg community
  • I cannot contribute a fix for this bug at this time
Langage dominant
Python
Étoiles
1.1k
Forks
589
Merge moyen
2 j 11 h
PR mergées (30 j)
75

Préparer son environnement

Nous n'avons pas encore vérifié les fichiers d'installation de ce projet. Commencez par son README, et consultez notre guide de la première contribution pour les étapes générales.

Par où commencer

  1. Lisez l'issue en entier, puis le guide de contribution du projet.
  2. Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
  3. Forkez le dépôt et travaillez sur une branche.
  4. Ouvrez une pull request qui référence le numéro de l'issue.

Autres issues de apache/iceberg-python

Toutes les issues de apache/iceberg-python

Issues similaires

Plus d'issues Python

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.