tikv/tikv

Improve Titan blob cache

Open

#5,742 opened on 2019年10月28日

GitHub で見る
 (6 comments) (0 reactions) (0 assignees)Rust (15,922 stars) (2,189 forks)batch import
component/titandifficulty/hardhelp wantedsig/engine

説明

Description

  • Merge RocksDB’s block cache and Titan’s blob cache.
  • Enable Titan blob cache by default, enable mid-point insert for cache, block content cache in high pri pool, blob content cache in low pri pool.
  • Adjust high-pri-pool-ratio automatically.

Task breakdown:

  • Implement PrioritizedCache, expose the API through rust-rocksdb https://github.com/tikv/titan/issues/127
  • Update tikv config to support enabling blob cache by default
  • Option to periodically update cache high-pri pool by total SST size
  • Benchmark the effect of enabling blob cache

SIG slack channel

Score

  • 8400

Mentor(s)

  • @yiwu-arbug @Connor1996

Recommended Skills

  • Algorithm

コントリビューターガイド

技術スタック
rust
領域
databaseperformance
Issue 種別
feature
難度新しい貢献者にとっての実装難度です。1 は非常に小さな変更、5 は専門的な作業です。
5
推定時間経験ある貢献者が調査、実装、テスト、pull request 準備にかけるおおよその時間範囲です。
over 1 week
活動状況Issue が今どれだけ取り組みやすいかを示します。新しい、活発、古い、ブロック中、またはメンテナー入力待ちなどです。
stale
明確さ期待される変更、受け入れ条件、次の手順がどれだけ明確かを示します。
clear
前提条件
RustRocksDBTitanCaching concepts
初心者向け度初回貢献者にどれだけ取り組みやすいかを 1-100 で推定したスコアです。
15
調査方針
Start by understanding the current Titan blob cache implementation and the existing RocksDB block cache. Refer to Titan issue #127 for the PrioritizedCache API design. Explore the rust rocksdb bindings to expose the new cache API. Then implement the config changes to enable blob cache by default and adjust high pri pool ratio automatically. Finally, benchmark the effects using standard TiKV cluster workloads.
Improve Titan blob cache · tikv/tikv#5742 | Good First Issue