elastic/elasticsearch-py

Helpers for `bulk` method such as `async_bulk` sleep in blocking manner, preventing graceful shutdown

开放

#2,484 创建于 2024年3月22日

在 GitHub 查看贡献者指南
 (5 条评论) (0 个反应) (0 位负责人)Python (1,206 个派生)batch import
Area: HelpersCategory: Enhancementgood first issuetracking

仓库指标

星标
 (4,060 个星标)
PR 合并指标
 (平均合并 1天 15小时) (30 天内合并 6 个 PR)

描述

We tried using async_bulk and async_streaming_bulk helpers to ingest data into Elasticsearch and they work great, but we've found out that they prevent our code from gracefully shutting down when CTRL+C is pressed.

Example code that sleeps: https://github.com/elastic/elasticsearch-py/blob/e1603f4f25888ca7fee03ee977abafb00d512601/elasticsearch/_async/helpers.py#L249-L251

It would be great to have a way to:

  • Either define how the sleep happens by passing sleep function into the client
  • Make Elasticsearch client internally cancel all sleeps when the client is closed

贡献者指南

研究方向
调查异步帮助程序（async bulk、async streaming bulk），了解当前如何实现睡眠。睡眠是否阻塞了asyncio.sleep？实际上说“阻塞方式睡眠”——需要检查是否使用了time.sleep()？链接代码指向带有注释的行。假设他们使用asyncio.sleep。研究如何使睡眠可取消，使用asyncio.CancelledError或传递可替换为可取消版本的可选睡眠函数。查看客户端的close方法如何触发正在进行的操作的取消。
技术栈
python
领域
backend
议题类型
缺陷
难度面向新贡献者的预计实现难度，1 表示很小改动，5 表示专家级工作。
3
预计时间有经验贡献者完成调查、实现、测试并准备 pull request 的粗略时间范围。
1-3 小时
活动状态议题当前的可参与程度：新鲜、活跃、陈旧、阻塞或等待维护者输入。
活跃
清晰度议题是否清楚说明期望改动、验收标准和下一步。
清晰
前置要求
PythonasyncioElasticsearch
新手友好度1-100 的估计分数，表示该议题对首次贡献者的友好程度。
70