brpc redis server 在单核情况下,耗时表现不佳
维护者通常 2 天内回复
还没有人认领这个 Issue。
评估
- 难度
- 5/5
- 预计耗时
- 一周以上
- 新手友好度
- 30/100
- Issue 类型
- 缺陷
- 描述清晰度
- 需要澄清
- 活跃度
- 停滞
- 技术栈
- cpp, docker, kubernetes, redis
- 领域
- backend, performance
调研方向
未指定源文件、测试或入口点。首先,在通过 Kubernetes 的 request/limit 设置将 brpc 服务器限制为一个 CPU 的情况下,从 127.0.0.1 复现 Redis-protocol 请求,然后将其 P99 延迟和调度行为与不受限制的服务器进行比较。完成标准是找出单核高延迟的原因,并记录一个经过验证的解决方案。
由索引模型根据 Issue 内容生成。
描述
背景描述
我们在线特征服务通过redis协议,请求一个同机部署的data_mesh服务。该data_mesh服务使用brpc搭建,redis协议。data_mesh收到同机的特征服务的请求后,进行协议转换然后请求远端存储。特征服务和 data_mesh 在同一个 POD,通过 k8s 进行部署。k8s 对 data_mesh 所在的 docker 进行了绑核,绑定到了 1 个 CPU 核心上。
绑核是通过 k8s 的 资源限制 request/limit 来做的,而非 set_cpu_affinitiy
特征服务请求 data_mesh 走的是 127.0.0.1, 不经过网卡
问题描述
我们发现特征服务请求 data_mesh 的耗时较高,哪怕是 data_mesh 不带任何业务(空跑一个 brpc server),同机调用的P99 latency 在 2ms 左右。 但 avg 耗时基本正常,比 ping 略高,在500us 左右。 我们的 qps 并不高,只有 50 左右。data_mesh 通过内置服务来看,资源使用情况也很空闲。
猜想
我们猜想,在 1 个核的情况下,brpc server 彻底失去了并行的能力,导致在 epoll thread 和 brpc worker 之间线程切换开销较大。
请问是否有更进一步的排查问题的方法以及解决方案?
- 主要语言
- C++
- 星标
- 17.6k
- 派生
- 4.2k
- 平均合并
- 3 天 17 小时
- 30 天内合并 PR
- 72
环境准备
- 提供 Dockerfile 或 Docker Compose 文件
- 有 Pull Request 模板
- 阅读贡献指南
从这里开始
- 先读完整个 Issue,再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库,在一个分支上完成修改。
- 提交 Pull Request,并在描述里引用这个 Issue 编号。
apache/brpc 的其他 Issue
-
难度 1/5 1-3 小时 新手友好度 88/100
维护者通常 2 天内回复
-
endpoint2hostname() prints a byte-swapped port for IPv6 endpoints可能已有人在做 @0z5a 于 8 天前认领。 未关闭
难度 2/5 1-3 小时 新手友好度 86/100
维护者通常 2 天内回复
-
perf(butil): ARM64 (aarch64) performance and modernisation improvements across atomics, CRC32C, spin-wait hints, and fast timers可能已有人在做 @jimmystewpot 于 2 天前认领。 未关闭
难度 5/5 一周以上 新手友好度 12/100
维护者通常 2 天内回复
-
file:// naming service takes a comment after the address as the tag可能已有人在做 @0z5a 于 8 天前认领。 未关闭
难度 2/5 1-3 小时 新手友好度 35/100
维护者通常 2 天内回复
-
难度 5/5 一周以上 新手友好度 25/100
维护者通常 2 天内回复
相似的 Issue
-
agent:Windows bug in progress pri:medium sev:low testing windows
难度 1/5 1 小时以内 新手友好度 91/100
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 77/100
protocolbuffers/protobuf#31768 ·
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 76/100
godotengine/godot#125651 ·
维护者通常 1 天内回复
-
Android: with view recycling on, a recycled View keeps its nextFocusLeft可能已有人在做 关联的 PR 仍在进行中或已合并。 未关闭Needs: Triage :mag: Platform: Android
难度 2/5 1-3 小时 新手友好度 78/100
react/react-native#60167 ·
维护者通常 2 天内回复
-
documentation
难度 2/5 1-3 小时 新手友好度 63/100