批量写的建议
还没有人认领这个 Issue。
评估
- 难度
- 4/5
- 预计耗时
- 3-5 天
- 新手友好度
- 35/100
- Issue 类型
- 重构
- 描述清晰度
- 基本清楚
- 活跃度
- 停滞
- 技术栈
- java
调研方向
首先跟踪 PartitionGroupStoreManager.write 和 ProduceManager.writeMessagesAsync，以了解每条消息何时唤醒 flush 过程。比较当前逐条消息的行为与在处理完一个分区组中的所有消息后再批量唤醒的行为；完成的标准是在保留批量写入和消息处理的同时减少 flush 次数。
由索引模型根据 Issue 内容生成。
描述
- PartitionGroupStoreManager.write 方法可以同时写多条消息，但为什么每处理一条消息后都会唤醒刷新进程一次，而不是把这批消息处理完成后统一唤醒一次。
- 当前性能的瓶颈在于频繁的刷新上，而消息分组处理在ProduceManager.writeMessagesAsync, 如果可以把这部分工作后移到PartitionGroupStoreManager.write里面，那么同一分组上可以同时处理的消息会更多，它会减少flush次数，提升系统性能。
- 主要语言
- Java
- 星标
- 383
- 派生
- 139
- PR 合并指标
- 30 天内没有已合并 PR
环境准备
- 没有 Dockerfile 或 Docker Compose 文件
- 没有 Pull Request 模板
- 阅读贡献指南
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
jd-opensource/joyqueue 的其他 Issue
-
难度 3/5 1-2 天 新手友好度 45/100
jd-opensource/joyqueue#365 ·
-
archive issue: consume log exception可能重新可做 @minusmajun 于 2127 天前认领，目前没有进行中的 PR。 未关闭
jd-opensource/joyqueue#322 · 3 条评论 · 已指派 1 人 ·
-
难度 4/5 3-5 天 新手友好度 28/100
jd-opensource/joyqueue#317 ·
-
并行消费问题未关闭
难度 4/5 3-5 天 新手友好度 35/100
jd-opensource/joyqueue#284 ·
-
支持jdk1.7吗未关闭
难度 4/5 3-5 天 新手友好度 20/100
jd-opensource/joyqueue#271 · 2 条评论 ·
查看 jd-opensource/joyqueue 的全部 Issue
相似的 Issue
-
backend
难度 2/5 1-3 小时 新手友好度 76/100
bcgov/nr-forest-client#2524 ·
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 67/100
维护者通常 1 天内回复
-
难度 1/5 1 小时以内 新手友好度 74/100
维护者通常 1 天内回复
-
team:Lumberjack
难度 2/5 1-3 小时 新手友好度 76/100
OpenLiberty/open-liberty#35998 ·
维护者通常 1 天内回复
-
[BUG] SQS SendMessageBatch accepts more than 10 entries instead of TooManyEntriesInBatchRequest可能已有人在做 关联的 PR 仍在进行中或已合并。 未关闭
难度 2/5 1-3 小时 新手友好度 67/100
维护者通常 1 天内回复