brpc redis server 在单核情况下,耗时表现不佳

Ouverte
#2,856 2 commentaires 0 réactions 0 personnes assignées Voir sur GitHub

Les mainteneurs répondent en général sous 2 jours

Personne n'a encore pris cette issue.

Évaluation

Difficulté
5/5
Temps estimé
Plus d'une semaine
Accessibilité débutants
30/100
Type d'issue
Bug
Clarté
À clarifier
Activité
À l'abandon
Stack technique
cpp, docker, kubernetes, redis
Domaine
backend, performance

Piste de recherche

Aucun fichier source, test ou point d’entrée n’est nommé. Commencez par reproduire la requête Redis-protocol depuis 127.0.0.1, avec le serveur brpc limité à un seul CPU via les paramètres request/limit de Kubernetes, puis comparez la latence P99 et le comportement de scheduling avec un serveur sans restriction. La tâche est considérée comme terminée lorsque la cause de la latence élevée sur un seul cœur est identifiée et qu’une solution validée est documentée.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Description

背景描述

我们在线特征服务通过redis协议,请求一个同机部署的data_mesh服务。该data_mesh服务使用brpc搭建,redis协议。data_mesh收到同机的特征服务的请求后,进行协议转换然后请求远端存储。特征服务和 data_mesh 在同一个 POD,通过 k8s 进行部署。k8s 对 data_mesh 所在的 docker 进行了绑核,绑定到了 1 个 CPU 核心上。
绑核是通过 k8s 的 资源限制 request/limit 来做的,而非 set_cpu_affinitiy
特征服务请求 data_mesh 走的是 127.0.0.1, 不经过网卡

问题描述

我们发现特征服务请求 data_mesh 的耗时较高,哪怕是 data_mesh 不带任何业务(空跑一个 brpc server),同机调用的P99 latency 在 2ms 左右。 但 avg 耗时基本正常,比 ping 略高,在500us 左右。 我们的 qps 并不高,只有 50 左右。data_mesh 通过内置服务来看,资源使用情况也很空闲。
image

猜想

我们猜想,在 1 个核的情况下,brpc server 彻底失去了并行的能力,导致在 epoll thread 和 brpc worker 之间线程切换开销较大。

请问是否有更进一步的排查问题的方法以及解决方案?

Langage dominant
C++
Étoiles
17.6k
Forks
4.2k
Merge moyen
3 j 17 h
PR mergées (30 j)
72

Préparer son environnement

Par où commencer

  1. Lisez l'issue en entier, puis le guide de contribution du projet.
  2. Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
  3. Forkez le dépôt et travaillez sur une branche.
  4. Ouvrez une pull request qui référence le numéro de l'issue.

Autres issues de apache/brpc

Toutes les issues de apache/brpc

Issues similaires

Plus d'issues C++

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.