From bf1558a44518859b0233b0ef371e9b2cf427a623 Mon Sep 17 00:00:00 2001 From: Lynn Date: Fri, 20 Jan 2023 16:39:32 +0800 Subject: [PATCH 01/11] *: add tidb_ddl_distribute_reorg item --- system-variables.md | 13 +++++++++++++ 1 file changed, 13 insertions(+) diff --git a/system-variables.md b/system-variables.md index 09d08a0ab9c3..599ad39cc1bb 100644 --- a/system-variables.md +++ b/system-variables.md @@ -956,6 +956,19 @@ MPP 是 TiFlash 引擎提供的分布式计算框架，允许节点之间的数 > - 如果先启动添加索引加速任务，再启动 PITR 备份任务，此时 PITR 备份任务会报错，但不影响正在添加索引的任务。 > - 如果同时启动 PITR 备份任务和添加索引加速任务，可能会由于两个任务无法察觉到对方而导致 PITR 不能成功备份增加的索引数据。 +### `tidb_ddl_distribute_reorg` 从 v6.6.0 版本开始引入 + +- 作用域：GLOBAL +- 是否持久化到集群：是 +- 默认值：`OFF` +- 这个变量用来控制是否开启分布式执行 DDL reorg 阶段，来提升此阶段的速度。目前此开关只对 `ADD INDEX` 语句有效。开启该变量对于数据量较大的表有一定的性能提升。 +- 要验证已经完成的 `ADD INDEX` 操作是否使用了此功能，可以查看 `tidb_ddl_backfill_history` 表是否有对应任务。 + +> **警告：** +> +> 当前该功能为实验特性，不建议在生产环境中使用。 + + ### `tidb_ddl_error_count_limit` - 作用域：GLOBAL From bd9347110d23ec7b12d007ca8cb71eb143e52666 Mon Sep 17 00:00:00 2001 From: Lynn Date: Wed, 1 Feb 2023 16:23:09 +0800 Subject: [PATCH 02/11] Update system-variables.md --- system-variables.md | 1 + 1 file changed, 1 insertion(+) diff --git a/system-variables.md b/system-variables.md index 599ad39cc1bb..7109fa2d93df 100644 --- a/system-variables.md +++ b/system-variables.md @@ -967,6 +967,7 @@ MPP 是 TiFlash 引擎提供的分布式计算框架，允许节点之间的数 > **警告：** > > 当前该功能为实验特性，不建议在生产环境中使用。 +> 当前启用此功能后，在 DDL reorg 阶段遇到某些异常只会做简单重试，还没有兼容 DDL 的重试方式（即依据 `tidb_ddl_error_count_limit` 的大小控制重试次数）。 ### `tidb_ddl_error_count_limit` From 52968dec888177870fd9bf898cacb773c2899903 Mon Sep 17 00:00:00 2001 From: Lynn Date: Wed, 1 Feb 2023 16:25:59 +0800 Subject: [PATCH 03/11] Update system-variables.md Co-authored-by: Hangjie Mo --- system-variables.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/system-variables.md b/system-variables.md index 7109fa2d93df..a2cb80799281 100644 --- a/system-variables.md +++ b/system-variables.md @@ -962,7 +962,7 @@ MPP 是 TiFlash 引擎提供的分布式计算框架，允许节点之间的数 - 是否持久化到集群：是 - 默认值：`OFF` - 这个变量用来控制是否开启分布式执行 DDL reorg 阶段，来提升此阶段的速度。目前此开关只对 `ADD INDEX` 语句有效。开启该变量对于数据量较大的表有一定的性能提升。 -- 要验证已经完成的 `ADD INDEX` 操作是否使用了此功能，可以查看 `tidb_ddl_backfill_history` 表是否有对应任务。 +- 要验证已经完成的 `ADD INDEX` 操作是否使用了此功能，可以查看 `mysql.tidb_ddl_backfill_history` 表是否有对应任务。 > **警告：** > From 4d194d3000914c7dc845c5d816e0a90b6350ad5f Mon Sep 17 00:00:00 2001 From: Lynn Date: Wed, 1 Feb 2023 16:56:59 +0800 Subject: [PATCH 04/11] Update system-variables.md Co-authored-by: Benjamin2037 --- system-variables.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/system-variables.md b/system-variables.md index a2cb80799281..65e6d1ea4d17 100644 --- a/system-variables.md +++ b/system-variables.md @@ -966,7 +966,7 @@ MPP 是 TiFlash 引擎提供的分布式计算框架，允许节点之间的数 > **警告：** > -> 当前该功能为实验特性，不建议在生产环境中使用。 +> 当前该功能为实验特性 > 当前启用此功能后，在 DDL reorg 阶段遇到某些异常只会做简单重试，还没有兼容 DDL 的重试方式（即依据 `tidb_ddl_error_count_limit` 的大小控制重试次数）。 From aae67b5a8663a4aa6256ebd7e36f159274e51ade Mon Sep 17 00:00:00 2001 From: Lynn Date: Wed, 1 Feb 2023 17:41:32 +0800 Subject: [PATCH 05/11] Update system-variables.md --- system-variables.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/system-variables.md b/system-variables.md index 65e6d1ea4d17..97a6a797f182 100644 --- a/system-variables.md +++ b/system-variables.md @@ -961,7 +961,7 @@ MPP 是 TiFlash 引擎提供的分布式计算框架，允许节点之间的数 - 作用域：GLOBAL - 是否持久化到集群：是 - 默认值：`OFF` -- 这个变量用来控制是否开启分布式执行 DDL reorg 阶段，来提升此阶段的速度。目前此开关只对 `ADD INDEX` 语句有效。开启该变量对于数据量较大的表有一定的性能提升。 +- 这个变量用于控制是否开启分布式执行 DDL reorg 阶段，来提升此阶段的速度。目前此开关只对 `ADD INDEX` 语句有效。开启该变量对于数据量较大的表有一定的性能提升。 - 要验证已经完成的 `ADD INDEX` 操作是否使用了此功能，可以查看 `mysql.tidb_ddl_backfill_history` 表是否有对应任务。 > **警告：** From a87e26fc84d53b3a2f3ab9e5ff2076c464b5cd5e Mon Sep 17 00:00:00 2001 From: Ran Date: Tue, 7 Feb 2023 15:31:24 +0800 Subject: [PATCH 06/11] Update system-variables.md --- system-variables.md | 5 +++++ 1 file changed, 5 insertions(+) diff --git a/system-variables.md b/system-variables.md index 97a6a797f182..6ca1f549cec4 100644 --- a/system-variables.md +++ b/system-variables.md @@ -958,6 +958,11 @@ MPP 是 TiFlash 引擎提供的分布式计算框架，允许节点之间的数 ### `tidb_ddl_distribute_reorg` 从 v6.6.0 版本开始引入 +> **Warning:** +> +> 该功能目前为实验特性。 +> 当前启用此功能后，在 DDL reorg 阶段遇到某些异常只会做简单重试，还没有兼容 DDL 的重试方式，即目前无法依据 [`tidb_ddl_error_count_limit`](#tidb_ddl_error_count_limit) 的大小控制重试次数。 + - 作用域：GLOBAL - 是否持久化到集群：是 - 默认值：`OFF` From 4c096cd2186fd5617c9468ab2d641f4f8f01b7d3 Mon Sep 17 00:00:00 2001 From: Ran Date: Tue, 7 Feb 2023 15:31:31 +0800 Subject: [PATCH 07/11] Update system-variables.md --- system-variables.md | 6 ------ 1 file changed, 6 deletions(-) diff --git a/system-variables.md b/system-variables.md index 6ca1f549cec4..10df3d236149 100644 --- a/system-variables.md +++ b/system-variables.md @@ -969,12 +969,6 @@ MPP 是 TiFlash 引擎提供的分布式计算框架，允许节点之间的数 - 这个变量用于控制是否开启分布式执行 DDL reorg 阶段，来提升此阶段的速度。目前此开关只对 `ADD INDEX` 语句有效。开启该变量对于数据量较大的表有一定的性能提升。 - 要验证已经完成的 `ADD INDEX` 操作是否使用了此功能，可以查看 `mysql.tidb_ddl_backfill_history` 表是否有对应任务。 -> **警告：** -> -> 当前该功能为实验特性 -> 当前启用此功能后，在 DDL reorg 阶段遇到某些异常只会做简单重试，还没有兼容 DDL 的重试方式（即依据 `tidb_ddl_error_count_limit` 的大小控制重试次数）。 - - ### `tidb_ddl_error_count_limit` - 作用域：GLOBAL From 936b16ef22f5544a06f64cb0ca792aed43564301 Mon Sep 17 00:00:00 2001 From: Ran Date: Tue, 7 Feb 2023 15:41:16 +0800 Subject: [PATCH 08/11] Update system-variables.md --- system-variables.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/system-variables.md b/system-variables.md index 10df3d236149..86b3ea4ec101 100644 --- a/system-variables.md +++ b/system-variables.md @@ -966,7 +966,7 @@ MPP 是 TiFlash 引擎提供的分布式计算框架，允许节点之间的数 - 作用域：GLOBAL - 是否持久化到集群：是 - 默认值：`OFF` -- 这个变量用于控制是否开启分布式执行 DDL reorg 阶段，来提升此阶段的速度。目前此开关只对 `ADD INDEX` 语句有效。开启该变量对于数据量较大的表有一定的性能提升。 +- 这个变量用于控制是否开启分布式执行 DDL reorg 阶段，来提升此阶段的速度。目前此开关只对 `ADD INDEX` 语句有效。开启该变量对于数据量较大的表有一定的性能提升。分布式 DDL 会通过 DDL 动态资源管控，控制 DDL 的 CPU 使用量，来防止对线上业务产生影响。 - 要验证已经完成的 `ADD INDEX` 操作是否使用了此功能，可以查看 `mysql.tidb_ddl_backfill_history` 表是否有对应任务。 ### `tidb_ddl_error_count_limit` From 11c94ee59683bc3eda44cad117e68eeb9ea39766 Mon Sep 17 00:00:00 2001 From: Ran Date: Tue, 7 Feb 2023 15:53:46 +0800 Subject: [PATCH 09/11] Update system-variables.md --- system-variables.md | 6 +++--- 1 file changed, 3 insertions(+), 3 deletions(-) diff --git a/system-variables.md b/system-variables.md index 86b3ea4ec101..5e330aa51a92 100644 --- a/system-variables.md +++ b/system-variables.md @@ -958,10 +958,10 @@ MPP 是 TiFlash 引擎提供的分布式计算框架，允许节点之间的数 ### `tidb_ddl_distribute_reorg` 从 v6.6.0 版本开始引入 -> **Warning:** +> **警告：** > -> 该功能目前为实验特性。 -> 当前启用此功能后，在 DDL reorg 阶段遇到某些异常只会做简单重试，还没有兼容 DDL 的重试方式，即目前无法依据 [`tidb_ddl_error_count_limit`](#tidb_ddl_error_count_limit) 的大小控制重试次数。 +> - 该功能目前为实验特性。 +> - 当前启用此功能后，在 DDL reorg 阶段遇到某些异常只会做简单重试，还没有兼容 DDL 的重试方式，即目前无法依据 [`tidb_ddl_error_count_limit`](#tidb_ddl_error_count_limit) 的大小控制重试次数。 - 作用域：GLOBAL - 是否持久化到集群：是 From 1709e4337a4b71d599e4a8c6f746b3098cb48651 Mon Sep 17 00:00:00 2001 From: Ran Date: Tue, 7 Feb 2023 16:41:51 +0800 Subject: [PATCH 10/11] Update system-variables.md Co-authored-by: TomShawn <41534398+TomShawn@users.noreply.github.com> --- system-variables.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/system-variables.md b/system-variables.md index 5e330aa51a92..74dd8c15fee5 100644 --- a/system-variables.md +++ b/system-variables.md @@ -960,7 +960,7 @@ MPP 是 TiFlash 引擎提供的分布式计算框架，允许节点之间的数 > **警告：** > -> - 该功能目前为实验特性。 +> - 该功能目前为实验特性。不推荐在生产环境中开启该功能。 > - 当前启用此功能后，在 DDL reorg 阶段遇到某些异常只会做简单重试，还没有兼容 DDL 的重试方式，即目前无法依据 [`tidb_ddl_error_count_limit`](#tidb_ddl_error_count_limit) 的大小控制重试次数。 - 作用域：GLOBAL From 8a553c76e0bdf86ea6972f3508c7197fbd5a72b7 Mon Sep 17 00:00:00 2001 From: Ran Date: Tue, 7 Feb 2023 16:46:58 +0800 Subject: [PATCH 11/11] Update system-variables.md Co-authored-by: TomShawn <41534398+TomShawn@users.noreply.github.com> --- system-variables.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/system-variables.md b/system-variables.md index 74dd8c15fee5..311066519b34 100644 --- a/system-variables.md +++ b/system-variables.md @@ -961,7 +961,7 @@ MPP 是 TiFlash 引擎提供的分布式计算框架，允许节点之间的数 > **警告：** > > - 该功能目前为实验特性。不推荐在生产环境中开启该功能。 -> - 当前启用此功能后，在 DDL reorg 阶段遇到某些异常只会做简单重试，还没有兼容 DDL 的重试方式，即目前无法依据 [`tidb_ddl_error_count_limit`](#tidb_ddl_error_count_limit) 的大小控制重试次数。 +> - 当前启用此功能后，在 DDL reorg 阶段遇到某些异常只会做简单重试，还没有兼容 DDL 操作的重试方式，即目前无法依据 [`tidb_ddl_error_count_limit`](#tidb_ddl_error_count_limit) 的大小控制重试次数。 - 作用域：GLOBAL - 是否持久化到集群：是