From c3690939d0edfd9b6002766d0b8178be2c7e320d Mon Sep 17 00:00:00 2001 From: Enwei Date: Fri, 6 Aug 2021 08:07:13 +0200 Subject: [PATCH 1/4] This is an automated cherry-pick of #6816 Signed-off-by: ti-chi-bot --- tikv-configuration-file.md | 74 ++++++++++++++++++++++++++++++++++---- 1 file changed, 67 insertions(+), 7 deletions(-) diff --git a/tikv-configuration-file.md b/tikv-configuration-file.md index 19ac94c28d0b..55a6ca924962 100644 --- a/tikv-configuration-file.md +++ b/tikv-configuration-file.md @@ -823,21 +823,35 @@ Titan 相关的配置项。 + 默认值：4 + 最小值：1 -## rocksdb.defaultcf +## rocksdb.defaultcf | rocksdb.writecf | rocksdb.lockcf -rocksdb defaultcf 相关的配置项。 +rocksdb defaultcf、rocksdb writecf 和 rocksdb lockcf 相关的配置项。 ### `block-size` +<<<<<<< HEAD + rocksdb block size。 + 默认值：64KB +======= ++ 一个 RocksDB block 的默认大小。 ++ `defaultcf` 默认值：64KB ++ `writecf` 默认值：64KB ++ `lockcf` 默认值：16KB +>>>>>>> 4f93467c2 (TiKV configuration: integrate writecf and lockcf to one part with defaultcf (#6816)) + 最小值：1KB + 单位：KB|MB|GB ### `block-cache-size` +<<<<<<< HEAD + rocksdb block cache size。 + 默认值：机器总内存 * 25% +======= ++ 一个 RocksDB block 的默认缓存大小。 ++ `defaultcf` 默认值：机器总内存 * 25% ++ `writecf` 默认值：机器总内存 * 15% ++ `lockcf` 默认值：机器总内存 * 2% +>>>>>>> 4f93467c2 (TiKV configuration: integrate writecf and lockcf to one part with defaultcf (#6816)) + 最小值：0 + 单位：KB|MB|GB @@ -864,12 +878,20 @@ rocksdb defaultcf 相关的配置项。 ### `optimize-filters-for-hits` + 开启优化 filter 的命中率的开关。 -+ 默认值：true ++ `defaultcf` 默认值：`true` ++ `writecf` 默认值：`false` ++ `lockcf` 默认值：`false` ### `whole_key_filtering` + 开启将整个 key 放到 bloom filter 中的开关。 +<<<<<<< HEAD + 默认值：true +======= ++ `defaultcf` 默认值：`true` ++ `writecf` 默认值：`false` ++ `lockcf` 默认值：`false` +>>>>>>> 4f93467c2 (TiKV configuration: integrate writecf and lockcf to one part with defaultcf (#6816)) ### `bloom-filter-bits-per-key` @@ -897,7 +919,9 @@ bloom filter 为每个 key 预留的长度。 ### `write-buffer-size` + memtable 大小。 -+ 默认值：128MB ++ `defaultcf` 默认值：`"128MB"` ++ `writecf` 默认值：`"128MB"` ++ `lockcf` 默认值：`"32MB"` + 最小值：0 + 单位：KB|MB|GB @@ -916,7 +940,9 @@ bloom filter 为每个 key 预留的长度。 ### `max-bytes-for-level-base` + base level (L1) 最大字节数，一般设置为 memtable 大小 4 倍。 -+ 默认值：512MB ++ `defaultcf` 默认值：`"512MB"` ++ `writecf` 默认值：`"512MB"` ++ `lockcf` 默认值：`"128MB"` + 最小值：0 + 单位：KB|MB|GB @@ -930,7 +956,9 @@ bloom filter 为每个 key 预留的长度。 ### `level0-file-num-compaction-trigger` + 触发 compaction 的 L0 文件最大个数。 -+ 默认值：4 ++ `defaultcf` 默认值：`4` ++ `writecf` 默认值：`4` ++ `lockcf` 默认值：`1` + 最小值：0 ### `level0-slowdown-writes-trigger` @@ -955,8 +983,15 @@ bloom filter 为每个 key 预留的长度。 ### `compaction-pri` + Compaction 优先类型 +<<<<<<< HEAD + 可选择值：3（MinOverlappingRatio），0（ByCompensatedSize），1（OldestLargestSeqFirst），2（OldestSmallestSeqFirst）。 + 默认值：3 +======= ++ 可选择值：`0` (`ByCompensatedSize`)，`1` (`OldestLargestSeqFirst`)，`2` (`OldestSmallestSeqFirst`)，`3` (`MinOverlappingRatio`)。 ++ `defaultcf` 默认值：`3` ++ `writecf` 默认值：`3` ++ `lockcf` 默认值：`1` +>>>>>>> 4f93467c2 (TiKV configuration: integrate writecf and lockcf to one part with defaultcf (#6816)) ### `dynamic-level-bytes` @@ -973,7 +1008,7 @@ bloom filter 为每个 key 预留的长度。 + 每一层的默认放大倍数。 + 默认值：10 -### `rocksdb.defaultcf.compaction-style` +### `compaction-style` + Compaction 方法，可选值为 level，universal。 + 默认值：level @@ -995,6 +1030,28 @@ bloom filter 为每个 key 预留的长度。 + 默认值：256GB + 单位：KB|MB|GB +<<<<<<< HEAD +======= +### `enable-compaction-guard` + ++ 设置 compaction guard 的启用状态。compaction guard 优化通过使用 TiKV Region 边界分割 SST 文件，帮助降低 compaction I/O，让 TiKV 能够输出较大的 SST 文件，并且在迁移 Region 时及时清理过期数据。 ++ `defaultcf` 默认值：`true` ++ `writecf` 默认值：`true` ++ `lockcf` 默认值：`false` + +### `compaction-guard-min-output-file-size` + ++ 设置 compaction guard 启用时 SST 文件大小的最小值，防止 SST 文件过小。 ++ 默认值：8MB ++ 单位：KB|MB|GB + +### `compaction-guard-max-output-file-size` + ++ 设置 compaction guard 启用时 SST 文件大小的最大值，防止 SST 文件过大。对于同一列族，此配置项的值会覆盖 `target-file-size-base`。 ++ 默认值：128MB ++ 单位：KB|MB|GB + +>>>>>>> 4f93467c2 (TiKV configuration: integrate writecf and lockcf to one part with defaultcf (#6816)) ## rocksdb.defaultcf.titan rocksdb defaultcf titan 相关的配置项。 @@ -1071,6 +1128,7 @@ rocksdb defaultcf titan 相关的配置项。 + 是否开启使用 merge operator 来进行 Titan GC 写回操作，减少 Titan GC 对于前台写入的影响。 + 默认值：false +<<<<<<< HEAD ## rocksdb.writecf rocksdb writecf 相关的配置项。 @@ -1111,6 +1169,8 @@ rocksdb lockcf 相关配置项。 + 触发 compaction 的 L0 文件个数。 + 默认值：1 +======= +>>>>>>> 4f93467c2 (TiKV configuration: integrate writecf and lockcf to one part with defaultcf (#6816)) ## raftdb raftdb 相关配置项。 From f7ff1b17beaf0be38590a78a50822eea70bbadf8 Mon Sep 17 00:00:00 2001 From: TomShawn <41534398+TomShawn@users.noreply.github.com> Date: Fri, 6 Aug 2021 14:15:17 +0800 Subject: [PATCH 2/4] Apply suggestions from code review --- tikv-configuration-file.md | 19 ------------------- 1 file changed, 19 deletions(-) diff --git a/tikv-configuration-file.md b/tikv-configuration-file.md index 55a6ca924962..e16ae362ae5c 100644 --- a/tikv-configuration-file.md +++ b/tikv-configuration-file.md @@ -829,29 +829,19 @@ rocksdb defaultcf、rocksdb writecf 和 rocksdb lockcf 相关的配置项。 ### `block-size` -<<<<<<< HEAD -+ rocksdb block size。 -+ 默认值：64KB -======= + 一个 RocksDB block 的默认大小。 + `defaultcf` 默认值：64KB + `writecf` 默认值：64KB + `lockcf` 默认值：16KB ->>>>>>> 4f93467c2 (TiKV configuration: integrate writecf and lockcf to one part with defaultcf (#6816)) + 最小值：1KB + 单位：KB|MB|GB ### `block-cache-size` -<<<<<<< HEAD -+ rocksdb block cache size。 -+ 默认值：机器总内存 * 25% -======= + 一个 RocksDB block 的默认缓存大小。 + `defaultcf` 默认值：机器总内存 * 25% + `writecf` 默认值：机器总内存 * 15% + `lockcf` 默认值：机器总内存 * 2% ->>>>>>> 4f93467c2 (TiKV configuration: integrate writecf and lockcf to one part with defaultcf (#6816)) + 最小值：0 + 单位：KB|MB|GB @@ -885,13 +875,9 @@ rocksdb defaultcf、rocksdb writecf 和 rocksdb lockcf 相关的配置项。 ### `whole_key_filtering` + 开启将整个 key 放到 bloom filter 中的开关。 -<<<<<<< HEAD -+ 默认值：true -======= + `defaultcf` 默认值：`true` + `writecf` 默认值：`false` + `lockcf` 默认值：`false` ->>>>>>> 4f93467c2 (TiKV configuration: integrate writecf and lockcf to one part with defaultcf (#6816)) ### `bloom-filter-bits-per-key` @@ -983,15 +969,10 @@ bloom filter 为每个 key 预留的长度。 ### `compaction-pri` + Compaction 优先类型 -<<<<<<< HEAD -+ 可选择值：3（MinOverlappingRatio），0（ByCompensatedSize），1（OldestLargestSeqFirst），2（OldestSmallestSeqFirst）。 -+ 默认值：3 -======= + 可选择值：`0` (`ByCompensatedSize`)，`1` (`OldestLargestSeqFirst`)，`2` (`OldestSmallestSeqFirst`)，`3` (`MinOverlappingRatio`)。 + `defaultcf` 默认值：`3` + `writecf` 默认值：`3` + `lockcf` 默认值：`1` ->>>>>>> 4f93467c2 (TiKV configuration: integrate writecf and lockcf to one part with defaultcf (#6816)) ### `dynamic-level-bytes` From 4bec23175cbd089caca63f03483f44d7ac0a5da3 Mon Sep 17 00:00:00 2001 From: TomShawn <41534398+TomShawn@users.noreply.github.com> Date: Fri, 6 Aug 2021 14:18:34 +0800 Subject: [PATCH 3/4] Update tikv-configuration-file.md --- tikv-configuration-file.md | 22 ---------------------- 1 file changed, 22 deletions(-) diff --git a/tikv-configuration-file.md b/tikv-configuration-file.md index e16ae362ae5c..cad0e8ece6ce 100644 --- a/tikv-configuration-file.md +++ b/tikv-configuration-file.md @@ -1011,28 +1011,6 @@ bloom filter 为每个 key 预留的长度。 + 默认值：256GB + 单位：KB|MB|GB -<<<<<<< HEAD -======= -### `enable-compaction-guard` - -+ 设置 compaction guard 的启用状态。compaction guard 优化通过使用 TiKV Region 边界分割 SST 文件，帮助降低 compaction I/O，让 TiKV 能够输出较大的 SST 文件，并且在迁移 Region 时及时清理过期数据。 -+ `defaultcf` 默认值：`true` -+ `writecf` 默认值：`true` -+ `lockcf` 默认值：`false` - -### `compaction-guard-min-output-file-size` - -+ 设置 compaction guard 启用时 SST 文件大小的最小值，防止 SST 文件过小。 -+ 默认值：8MB -+ 单位：KB|MB|GB - -### `compaction-guard-max-output-file-size` - -+ 设置 compaction guard 启用时 SST 文件大小的最大值，防止 SST 文件过大。对于同一列族，此配置项的值会覆盖 `target-file-size-base`。 -+ 默认值：128MB -+ 单位：KB|MB|GB - ->>>>>>> 4f93467c2 (TiKV configuration: integrate writecf and lockcf to one part with defaultcf (#6816)) ## rocksdb.defaultcf.titan rocksdb defaultcf titan 相关的配置项。 From d973fabe29ed80131d7838179b854910810a5425 Mon Sep 17 00:00:00 2001 From: TomShawn <41534398+TomShawn@users.noreply.github.com> Date: Fri, 6 Aug 2021 14:19:25 +0800 Subject: [PATCH 4/4] Update tikv-configuration-file.md --- tikv-configuration-file.md | 43 -------------------------------------- 1 file changed, 43 deletions(-) diff --git a/tikv-configuration-file.md b/tikv-configuration-file.md index cad0e8ece6ce..6d97c7df17ba 100644 --- a/tikv-configuration-file.md +++ b/tikv-configuration-file.md @@ -1087,49 +1087,6 @@ rocksdb defaultcf titan 相关的配置项。 + 是否开启使用 merge operator 来进行 Titan GC 写回操作，减少 Titan GC 对于前台写入的影响。 + 默认值：false -<<<<<<< HEAD -## rocksdb.writecf - -rocksdb writecf 相关的配置项。 - -### `block-cache-size` - -+ block cache size。 -+ 默认值：机器总内存 * 15% -+ 单位：MB|GB - -### `optimize-filters-for-hits` - -+ 开启优化 filter 的命中率的开关。 -+ 默认值：false - -### `whole-key-filtering` - -+ 开启将整个 key 放到 bloom filter 中的开关。 -+ 默认值：false - -## rocksdb.lockcf - -rocksdb lockcf 相关配置项。 - -### `block-cache-size` - -+ block cache size。 -+ 默认值：机器总内存 * 2% -+ 单位：MB|GB - -### `optimize-filters-for-hits` - -+ 开启优化 filter 的命中率的开关。 -+ 默认值：false - -### `level0-file-num-compaction-trigger` - -+ 触发 compaction 的 L0 文件个数。 -+ 默认值：1 - -======= ->>>>>>> 4f93467c2 (TiKV configuration: integrate writecf and lockcf to one part with defaultcf (#6816)) ## raftdb raftdb 相关配置项。