yugabyte/yugabyte-db

Redundant logging when opening RocksDB

Fechada

#2.326 aberto em 15 de set. de 2019

Ver no GitHub
 (0 comentário) (0 reação) (1 responsável)C (1.003 forks)batch import
area/docdbdatapath-onboardinggood first issuekind/enhancementpriority/medium

Métricas do repositório

Stars
 (8.229 estrelas)
Métricas de merge de PR
 (Mesclagem média 17d 21h) (92 fundiu PRs em 30d)

Description

Jira Link: DB-721

ts3|pid3293|:20785 I0915 06:13:06.783277  5921 mutable_cf_options.cc:83] T 8a9d4b8585c94437ae861b8129f4e398 P 799e8ceadb754c2f95d9471578d1d7dc [R]:                         write_buffer_size: 134217728
ts3|pid3293|:20785 I0915 06:13:06.783311  5921 mutable_cf_options.cc:85] T 8a9d4b8585c94437ae861b8129f4e398 P 799e8ceadb754c2f95d9471578d1d7dc [R]:                   max_write_buffer_number: 2
ts3|pid3293|:20785 I0915 06:13:06.783346  5921 mutable_cf_options.cc:87] T 8a9d4b8585c94437ae861b8129f4e398 P 799e8ceadb754c2f95d9471578d1d7dc [R]:                          arena_block_size: 131072
ts3|pid3293|:20785 I0915 06:13:06.783380  5921 mutable_cf_options.cc:89] T 8a9d4b8585c94437ae861b8129f4e398 P 799e8ceadb754c2f95d9471578d1d7dc [R]:                memtable_prefix_bloom_bits: 0
ts3|pid3293|:20785 I0915 06:13:06.783412  5921 mutable_cf_options.cc:91] T 8a9d4b8585c94437ae861b8129f4e398 P 799e8ceadb754c2f95d9471578d1d7dc [R]:              memtable_prefix_bloom_probes: 6
ts3|pid3293|:20785 I0915 06:13:06.783448  5921 mutable_cf_options.cc:93] T 8a9d4b8585c94437ae861b8129f4e398 P 799e8ceadb754c2f95d9471578d1d7dc [R]:  memtable_prefix_bloom_huge_page_tlb_size: 0
ts3|pid3293|:20785 I0915 06:13:06.783479  5921 mutable_cf_options.cc:95] T 8a9d4b8585c94437ae861b8129f4e398 P 799e8ceadb754c2f95d9471578d1d7dc [R]:                     max_successive_merges: 0
ts3|pid3293|:20785 I0915 06:13:06.783509  5921 mutable_cf_options.cc:97] T 8a9d4b8585c94437ae861b8129f4e398 P 799e8ceadb754c2f95d9471578d1d7dc [R]:                            filter_deletes: 0
ts3|pid3293|:20785 I0915 06:13:06.783542  5921 mutable_cf_options.cc:99] T 8a9d4b8585c94437ae861b8129f4e398 P 799e8ceadb754c2f95d9471578d1d7dc [R]:                  disable_auto_compactions: 1
ts3|pid3293|:20785 I0915 06:13:06.783576  5921 mutable_cf_options.cc:101] T 8a9d4b8585c94437ae861b8129f4e398 P 799e8ceadb754c2f95d9471578d1d7dc [R]:       soft_pending_compaction_bytes_limit: 0
ts3|pid3293|:20785 I0915 06:13:06.783609  5921 mutable_cf_options.cc:103] T 8a9d4b8585c94437ae861b8129f4e398 P 799e8ceadb754c2f95d9471578d1d7dc [R]:       hard_pending_compaction_bytes_limit: 0
ts3|pid3293|:20785 I0915 06:13:06.783641  5921 mutable_cf_options.cc:105] T 8a9d4b8585c94437ae861b8129f4e398 P 799e8ceadb754c2f95d9471578d1d7dc [R]:        level0_file_num_compaction_trigger: 5
ts3|pid3293|:20785 I0915 06:13:06.783674  5921 mutable_cf_options.cc:107] T 8a9d4b8585c94437ae861b8129f4e398 P 799e8ceadb754c2f95d9471578d1d7dc [R]:            level0_slowdown_writes_trigger: 24
ts3|pid3293|:20785 I0915 06:13:06.783715  5921 mutable_cf_options.cc:109] T 8a9d4b8585c94437ae861b8129f4e398 P 799e8ceadb754c2f95d9471578d1d7dc [R]:                level0_stop_writes_trigger: 48
ts3|pid3293|:20785 I0915 06:13:06.783751  5921 mutable_cf_options.cc:111] T 8a9d4b8585c94437ae861b8129f4e398 P 799e8ceadb754c2f95d9471578d1d7dc [R]:            max_grandparent_overlap_factor: 10
ts3|pid3293|:20785 I0915 06:13:06.783805  5921 mutable_cf_options.cc:113] T 8a9d4b8585c94437ae861b8129f4e398 P 799e8ceadb754c2f95d9471578d1d7dc [R]:                expanded_compaction_factor: 25
ts3|pid3293|:20785 I0915 06:13:06.783838  5921 mutable_cf_options.cc:115] T 8a9d4b8585c94437ae861b8129f4e398 P 799e8ceadb754c2f95d9471578d1d7dc [R]:                  source_compaction_factor: 1
ts3|pid3293|:20785 I0915 06:13:06.783870  5921 mutable_cf_options.cc:117] T 8a9d4b8585c94437ae861b8129f4e398 P 799e8ceadb754c2f95d9471578d1d7dc [R]:                     target_file_size_base: 2097152
ts3|pid3293|:20785 I0915 06:13:06.783901  5921 mutable_cf_options.cc:119] T 8a9d4b8585c94437ae861b8129f4e398 P 799e8ceadb754c2f95d9471578d1d7dc [R]:               target_file_size_multiplier: 1
ts3|pid3293|:20785 I0915 06:13:06.783941  5921 mutable_cf_options.cc:121] T 8a9d4b8585c94437ae861b8129f4e398 P 799e8ceadb754c2f95d9471578d1d7dc [R]:                  max_bytes_for_level_base: 10485760
ts3|pid3293|:20785 I0915 06:13:06.783987  5921 mutable_cf_options.cc:123] T 8a9d4b8585c94437ae861b8129f4e398 P 799e8ceadb754c2f95d9471578d1d7dc [R]:            max_bytes_for_level_multiplier: 10
ts3|pid3293|:20785 I0915 06:13:06.784026  5921 mutable_cf_options.cc:131] T 8a9d4b8585c94437ae861b8129f4e398 P 799e8ceadb754c2f95d9471578d1d7dc [R]: max_bytes_for_level_multiplier_additional: 1, 1, 1, 1, 1, 1, 1
ts3|pid3293|:20785 I0915 06:13:06.784061  5921 mutable_cf_options.cc:133] T 8a9d4b8585c94437ae861b8129f4e398 P 799e8ceadb754c2f95d9471578d1d7dc [R]:            verify_checksums_in_compaction: 1
ts3|pid3293|:20785 I0915 06:13:06.784098  5921 mutable_cf_options.cc:135] T 8a9d4b8585c94437ae861b8129f4e398 P 799e8ceadb754c2f95d9471578d1d7dc [R]:         max_sequential_skip_in_iterations: 8

Guia do colaborador

Direção de pesquisa
O problema envolve registro redundante na integração do RocksDB, especificamente no arquivo mutable cf options.cc. A tarefa é remover as linhas de log que imprimem cada opção individualmente. No entanto, o problema está atribuído a um contribuidor, portanto, está atualmente bloqueado. Para encontrar um problema semelhante não atribuído, procure por padrões de registro redundantes em src/yb/rocksdb ou diretórios relacionados.
Pilha de tecnologia
cpp
Domain
backendperformance
Tipo Issue
Refatoração
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
Menos de 1 hora
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Bloqueado
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
C++ basicsSearch and replace
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
20