High CPU in slave node

Aperta
  • Qualcosa non va?
#3,683 3 commenti 0 reazioni 0 assegnatari Vedi su GitHub

I maintainer di solito rispondono entro 1 giorno

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
4/5
Tempo stimato
3-5 giorni
Idoneità per principianti
22/100
Tipo di issue
Bug
Chiarezza
Da chiarire
Stato di attività
Attiva
Stack tecnologico
cpp, redis
Ambito
databases, performance

Direzione di ricerca

The hot path in the report runs from Server::GetInfo into Server::GetRocksDBInfo, which queries RocksDB's block cache pinned-usage property. Start by reading those two functions and the INFO handling that calls them, then reproduce the CPU spike by timing repeated INFO calls on a replica. Done means the INFO path no longer stalls the worker thread, and the fix is agreed in the thread, since the report has no minimal reproduction yet.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

bug
Search before asking
  • I had searched in the issues and found no similar issues.
Version

2.16.0

Minimal reproduce step

没发主动复现

What did you expect to see?

找到原因，并解决

What did you see instead?

现在会不定期卡住， worker主进程CPU 100%

Worker::Run
-> event_base_loop
-> redis::Connection::OnRead
-> redis::Connection::ExecuteCommands
-> redis::Connection::ExecuteCommand
-> redis::CommandInfo::Execute
-> Server::GetInfo
-> Server::GetRocksDBInfo

98.11%     0.00%  worker       [unknown]         [.] 0x9066001ea382e9c6
        |
        ---0x9066001ea382e9c6
           bufferevent_run_deferred_callbacks_unlocked
           redis::Connection::OnRead
           redis::Connection::ExecuteCommands
           redis::Connection::ExecuteCommand
           redis::CommandInfo::Execute
           Server::GetInfo
           std::_Function_handler<std::vector<Server::InfoEntry, std::allocator<Server::InfoEntry> > (Server*), std::vector<Server::InfoEntry, std::allocator<Server::InfoEntry> > (Server::*)()>::_M_invoke
           Server::GetRocksDBInfo
           rocksdb::DBImpl::GetIntPropertyInternal
           |          
           |--95.08%--rocksdb::InternalStats::HandleBlockCachePinnedUsage
           |          rocksdb::clock_cache::ClockCacheShard<rocksdb::clock_cache::AutoHyperClockTable>::GetPinnedUsage
           |          
            --3.03%--rocksdb::InternalStats::HandleEstimateTableReadersMem
                      rocksdb::Version::GetMemoryUsageByTableReaders
                      rocksdb::TableCache::GetMemoryUsageByTableReader
                      |          
                       --2.41%--rocksdb::BlockBasedTable::ApproximateMemoryUsage
Anything Else?

堆栈信息user_stacks.txt
perf分析报告perf_report.txt

@git-hulk

Are you willing to submit a PR?
  • I'm willing to submit a PR!
Lingua principale
C++
Stelle
4.5k
Fork
689
Merge medio
2g 1h
PR unite (30g)
35

Preparare l'ambiente

Apri in Codespaces

Avvia il container di sviluppo del progetto nel browser, con il tuo account GitHub.

  • Include un Dockerfile o un file Docker Compose
  • Nessun modello di pull request
  • Nessuna guida per i contributori

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di apache/kvrocks

Tutte le issue di apache/kvrocks

Issue simili

Altre issue su C++

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.