From 2c55fb3bb43082acfb5d7b5350c69c46a0970a78 Mon Sep 17 00:00:00 2001 From: qiancai Date: Mon, 1 Nov 2021 14:35:55 +0800 Subject: [PATCH 01/78] add_5.3_rn --- TOC.md | 4 +- releases/release-5.3.0.md | 204 ++++++++++++++++++++++++++++++++++++++ releases/release-notes.md | 4 + 3 files changed, 211 insertions(+), 1 deletion(-) create mode 100644 releases/release-5.3.0.md diff --git a/TOC.md b/TOC.md index 559c6f6253e8..d42e58c49f93 100644 --- a/TOC.md +++ b/TOC.md @@ -7,7 +7,7 @@ + 关于 TiDB + [TiDB 简介](/overview.md) - + [TiDB 5.2 Release Notes](/releases/release-5.2.0.md) + + [TiDB 5.3 Release Notes](/releases/release-5.3.0.md) + [基本功能](/basic-features.md) + [实验特性](/experimental-features.md) + 性能测试报告 @@ -549,6 +549,8 @@ + [术语表](/glossary.md) + 版本发布历史 + [发布版本汇总](/releases/release-notes.md) + + v5.3 + - [5.3.0](/releases/release-5.3.0.md) + v5.2 - [5.2.2](/releases/release-5.2.2.md) - [5.2.1](/releases/release-5.2.1.md) diff --git a/releases/release-5.3.0.md b/releases/release-5.3.0.md new file mode 100644 index 000000000000..d4c31a9896ac --- /dev/null +++ b/releases/release-5.3.0.md @@ -0,0 +1,204 @@ +--- +title: TiDB 5.3 Release Notes +--- + +# TiDB 5.3 Release Notes + +发版日期：2021 年 11 月 16 日 + +TiDB 版本：5.3.0 + +在 5.3 版本中，你可以获得以下关键特性： + ++ ++ ++ + +## 兼容性变化 + +> **注意：** +> +> 当从一个早期的 TiDB 版本升级到 TiDB 5.3.0 时，如需了解所有中间版本对应的兼容性更改说明，请查看对应版本的 [Release Note](/releases/release-notes.md)。 + +### 系统变量 + +| 变量名 | 修改类型 | 描述 | +| :---------- | :----------- | :----------- | +| | | | +| | | | +| | | | + +### 配置文件参数 + +| 配置文件 | 配置项 | 修改类型 | 描述 | +| :---------- | :----------- | :----------- | :----------- | +| | | | +| | | | +| | | | + +### 其他 + +- +- +- +- + +## 新功能 + +### SQL + +- **功能 1** + + <功能描述 （功能是什么 + 能给用户带来什么好处 + 需要用户注意什么）> + + <功能支持情况，告诉用户 TiDB 默认开始还是关闭此功能，如果默认关闭，如何开启> + + <如果功能限制或此功能特定的兼容性问题，需要提及> + + [用户文档](/) + +- **功能 2** + + <功能描述 （功能是什么 + 能给用户带来什么好处 + 需要用户注意什么）> + + <功能支持情况，告诉用户 TiDB 默认开始还是关闭此功能，如果默认关闭，如何开启> + + <如果功能限制或此功能特定的兼容性问题，需要提及> + + [用户文档](/) + +### 事务 + +- **功能 3** + + <功能描述 （功能是什么 + 能给用户带来什么好处 + 需要用户注意什么）> + + <功能支持情况，告诉用户 TiDB 默认开始还是关闭此功能，如果默认关闭，如何开启> + + <如果功能限制或此功能特定的兼容性问题，需要提及> + + [用户文档](/) + +### 字符集和排序规则 + +- **功能 4** + + <功能描述 （功能是什么 + 能给用户带来什么好处 + 需要用户注意什么）> + + <功能支持情况，告诉用户 TiDB 默认开始还是关闭此功能，如果默认关闭，如何开启> + + <如果功能限制或此功能特定的兼容性问题，需要提及> + + [用户文档](/) + +### 安全 + +- **功能 5** + + <功能描述 （功能是什么 + 能给用户带来什么好处 + 需要用户注意什么）> + + <功能支持情况，告诉用户 TiDB 默认开始还是关闭此功能，如果默认关闭，如何开启> + + <如果功能限制或此功能特定的兼容性问题，需要提及> + + [用户文档](/) + +## 性能优化 + +- **功能 6** + + <功能描述 （功能是什么 + 能给用户带来什么好处 + 需要用户注意什么）> + + <功能支持情况，告诉用户 TiDB 默认开始还是关闭此功能，如果默认关闭，如何开启> + + <如果功能限制或此功能特定的兼容性问题，需要提及> + + [用户文档](/) + +## 稳定性提升 + +- **功能 7** + + <功能描述 （功能是什么 + 能给用户带来什么好处 + 需要用户注意什么）> + + <功能支持情况，告诉用户 TiDB 默认开始还是关闭此功能，如果默认关闭，如何开启> + + <如果功能限制或此功能特定的兼容性问题，需要提及> + + [用户文档](/) + +- **功能 8** + + <功能描述 （功能是什么 + 能给用户带来什么好处 + 需要用户注意什么）> + + <功能支持情况，告诉用户 TiDB 默认开始还是关闭此功能，如果默认关闭，如何开启> + + <如果功能限制或此功能特定的兼容性问题，需要提及> + + [用户文档](/) + +## 高可用和容灾 + +- **功能 9** + + <功能描述 （功能是什么 + 能给用户带来什么好处 + 需要用户注意什么）> + + <功能支持情况，告诉用户 TiDB 默认开始还是关闭此功能，如果默认关闭，如何开启> + + <如果功能限制或此功能特定的兼容性问题，需要提及> + + [用户文档](/) + +## 数据迁移 + +- **功能 10** + + <功能描述 （功能是什么 + 能给用户带来什么好处 + 需要用户注意什么）> + + <功能支持情况，告诉用户 TiDB 默认开始还是关闭此功能，如果默认关闭，如何开启> + + <如果功能限制或此功能特定的兼容性问题，需要提及> + + [用户文档](/) + +## TiDB 数据共享订阅 + +- **功能 10** + + <功能描述 （功能是什么 + 能给用户带来什么好处 + 需要用户注意什么）> + + <功能支持情况，告诉用户 TiDB 默认开始还是关闭此功能，如果默认关闭，如何开启> + + <如果功能限制或此功能特定的兼容性问题，需要提及> + + [用户文档](/) + +## 问题诊断效率 + +- **功能 10** + + <功能描述 （功能是什么 + 能给用户带来什么好处 + 需要用户注意什么）> + + <功能支持情况，告诉用户 TiDB 默认开始还是关闭此功能，如果默认关闭，如何开启> + + <如果功能限制或此功能特定的兼容性问题，需要提及> + + [用户文档](/) + +## 部署及运维 + +- **功能 10** + + <功能描述 （功能是什么 + 能给用户带来什么好处 + 需要用户注意什么）> + + <功能支持情况，告诉用户 TiDB 默认开始还是关闭此功能，如果默认关闭，如何开启> + + <如果功能限制或此功能特定的兼容性问题，需要提及> + + [用户文档](/) + +## 遥测 + +TiDB 在遥测中新增收集 <列出本次新增遥测内容>。 + +若要了解所收集的信息详情及如何禁用该行为，请参见[遥测](/telemetry.md)文档。 diff --git a/releases/release-notes.md b/releases/release-notes.md index 47b90d0241ae..6f2665759094 100644 --- a/releases/release-notes.md +++ b/releases/release-notes.md @@ -7,6 +7,10 @@ aliases: ['/docs-cn/dev/releases/release-notes/','/docs-cn/dev/releases/rn/'] TiDB 历史版本发布声明如下： +## 5.3 + +- [5.3.0](/releases/release-5.3.0.md) + ## 5.2 - [5.2.2](/releases/release-5.2.2.md) From 4415f7376d25bcb1c30bde44502ceb46d76943c8 Mon Sep 17 00:00:00 2001 From: qiancai Date: Mon, 1 Nov 2021 15:29:47 +0800 Subject: [PATCH 02/78] update --- releases/release-5.3.0.md | 26 +++++++++++++------------- 1 file changed, 13 insertions(+), 13 deletions(-) diff --git a/releases/release-5.3.0.md b/releases/release-5.3.0.md index d4c31a9896ac..4c3b73296a7c 100644 --- a/releases/release-5.3.0.md +++ b/releases/release-5.3.0.md @@ -51,7 +51,7 @@ TiDB 版本：5.3.0 <功能描述 （功能是什么 + 能给用户带来什么好处 + 需要用户注意什么）> - <功能支持情况，告诉用户 TiDB 默认开始还是关闭此功能，如果默认关闭，如何开启> + <功能支持情况，TiDB 默认开启还是关闭此功能，如果默认关闭，如何开启> <如果功能限制或此功能特定的兼容性问题，需要提及> @@ -61,7 +61,7 @@ TiDB 版本：5.3.0 <功能描述 （功能是什么 + 能给用户带来什么好处 + 需要用户注意什么）> - <功能支持情况，告诉用户 TiDB 默认开始还是关闭此功能，如果默认关闭，如何开启> + <功能支持情况，TiDB 默认开启还是关闭此功能，如果默认关闭，如何开启> <如果功能限制或此功能特定的兼容性问题，需要提及> @@ -73,7 +73,7 @@ TiDB 版本：5.3.0 <功能描述 （功能是什么 + 能给用户带来什么好处 + 需要用户注意什么）> - <功能支持情况，告诉用户 TiDB 默认开始还是关闭此功能，如果默认关闭，如何开启> + <功能支持情况，TiDB 默认开启还是关闭此功能，如果默认关闭，如何开启> <如果功能限制或此功能特定的兼容性问题，需要提及> @@ -85,7 +85,7 @@ TiDB 版本：5.3.0 <功能描述 （功能是什么 + 能给用户带来什么好处 + 需要用户注意什么）> - <功能支持情况，告诉用户 TiDB 默认开始还是关闭此功能，如果默认关闭，如何开启> + <功能支持情况，TiDB 默认开启还是关闭此功能，如果默认关闭，如何开启> <如果功能限制或此功能特定的兼容性问题，需要提及> @@ -97,7 +97,7 @@ TiDB 版本：5.3.0 <功能描述 （功能是什么 + 能给用户带来什么好处 + 需要用户注意什么）> - <功能支持情况，告诉用户 TiDB 默认开始还是关闭此功能，如果默认关闭，如何开启> + <功能支持情况，TiDB 默认开启还是关闭此功能，如果默认关闭，如何开启> <如果功能限制或此功能特定的兼容性问题，需要提及> @@ -109,7 +109,7 @@ TiDB 版本：5.3.0 <功能描述 （功能是什么 + 能给用户带来什么好处 + 需要用户注意什么）> - <功能支持情况，告诉用户 TiDB 默认开始还是关闭此功能，如果默认关闭，如何开启> + <功能支持情况，TiDB 默认开启还是关闭此功能，如果默认关闭，如何开启> <如果功能限制或此功能特定的兼容性问题，需要提及> @@ -121,7 +121,7 @@ TiDB 版本：5.3.0 <功能描述 （功能是什么 + 能给用户带来什么好处 + 需要用户注意什么）> - <功能支持情况，告诉用户 TiDB 默认开始还是关闭此功能，如果默认关闭，如何开启> + <功能支持情况，TiDB 默认开启还是关闭此功能，如果默认关闭，如何开启> <如果功能限制或此功能特定的兼容性问题，需要提及> @@ -131,7 +131,7 @@ TiDB 版本：5.3.0 <功能描述 （功能是什么 + 能给用户带来什么好处 + 需要用户注意什么）> - <功能支持情况，告诉用户 TiDB 默认开始还是关闭此功能，如果默认关闭，如何开启> + <功能支持情况，TiDB 默认开启还是关闭此功能，如果默认关闭，如何开启> <如果功能限制或此功能特定的兼容性问题，需要提及> @@ -143,7 +143,7 @@ TiDB 版本：5.3.0 <功能描述 （功能是什么 + 能给用户带来什么好处 + 需要用户注意什么）> - <功能支持情况，告诉用户 TiDB 默认开始还是关闭此功能，如果默认关闭，如何开启> + <功能支持情况，TiDB 默认开启还是关闭此功能，如果默认关闭，如何开启> <如果功能限制或此功能特定的兼容性问题，需要提及> @@ -155,7 +155,7 @@ TiDB 版本：5.3.0 <功能描述 （功能是什么 + 能给用户带来什么好处 + 需要用户注意什么）> - <功能支持情况，告诉用户 TiDB 默认开始还是关闭此功能，如果默认关闭，如何开启> + <功能支持情况，TiDB 默认开启还是关闭此功能，如果默认关闭，如何开启> <如果功能限制或此功能特定的兼容性问题，需要提及> @@ -167,7 +167,7 @@ TiDB 版本：5.3.0 <功能描述 （功能是什么 + 能给用户带来什么好处 + 需要用户注意什么）> - <功能支持情况，告诉用户 TiDB 默认开始还是关闭此功能，如果默认关闭，如何开启> + <功能支持情况，TiDB 默认开启还是关闭此功能，如果默认关闭，如何开启> <如果功能限制或此功能特定的兼容性问题，需要提及> @@ -179,7 +179,7 @@ TiDB 版本：5.3.0 <功能描述 （功能是什么 + 能给用户带来什么好处 + 需要用户注意什么）> - <功能支持情况，告诉用户 TiDB 默认开始还是关闭此功能，如果默认关闭，如何开启> + <功能支持情况，TiDB 默认开启还是关闭此功能，如果默认关闭，如何开启> <如果功能限制或此功能特定的兼容性问题，需要提及> @@ -191,7 +191,7 @@ TiDB 版本：5.3.0 <功能描述 （功能是什么 + 能给用户带来什么好处 + 需要用户注意什么）> - <功能支持情况，告诉用户 TiDB 默认开始还是关闭此功能，如果默认关闭，如何开启> + <功能支持情况，TiDB 默认开启还是关闭此功能，如果默认关闭，如何开启> <如果功能限制或此功能特定的兼容性问题，需要提及> From 34be8a8175ef21df6f2d002fabd2467cf96ba905 Mon Sep 17 00:00:00 2001 From: qiancai Date: Tue, 2 Nov 2021 10:34:19 +0800 Subject: [PATCH 03/78] Update release-5.3.0.md --- releases/release-5.3.0.md | 120 ++++++++++++++++++++++++++++++++++++-- 1 file changed, 116 insertions(+), 4 deletions(-) diff --git a/releases/release-5.3.0.md b/releases/release-5.3.0.md index 4c3b73296a7c..37d48267484b 100644 --- a/releases/release-5.3.0.md +++ b/releases/release-5.3.0.md @@ -187,13 +187,13 @@ TiDB 版本：5.3.0 ## 部署及运维 -- **功能 10** +- **持续性能分析** - <功能描述 （功能是什么 + 能给用户带来什么好处 + 需要用户注意什么）> + TiDB Dashboard 引入持续性能分析功能，提供在集群运行状态时自动保存实例性能分析结果的能力，通过火焰图的形式提高了 TiDB 集群性能的可观测性，有助于缩短故障诊断时间。 - <功能支持情况，TiDB 默认开启还是关闭此功能，如果默认关闭，如何开启> + 该功能默认关闭，需进入 TiDB Dashboard 持续性能分析页面开启。 - <如果功能限制或此功能特定的兼容性问题，需要提及> + 持续性能分析功能必须使用 TiUP 1.7.0 及以上版本升级或安装的集群才可使用。 [用户文档](/) @@ -202,3 +202,115 @@ TiDB 版本：5.3.0 TiDB 在遥测中新增收集 <列出本次新增遥测内容>。 若要了解所收集的信息详情及如何禁用该行为，请参见[遥测](/telemetry.md)文档。 + +## 提升改进 + ++ TiDB + + - 当 coprocessor 遇到锁时，在调试日志中显示受影响的 SQL 语句帮助诊断问题 [#27718](https://github.com/pingcap/tidb/issues/27718) + - 在 SQL 逻辑层备份和恢复数据时，支持显示备份和恢复数据的大小 [#27247](https://github.com/pingcap/tidb/issues/27247) + ++ TiKV + + - 简化 L0 层流控算法 [#10879](https://github.com/tikv/tikv/issues/10879) + - 优化 raft client 错误日志的收集 [#10983](https://github.com/tikv/tikv/pull/10983) + - 优化日志线程以避免其成为性能瓶颈 [#10841](https://github.com/tikv/tikv/issues/10841) + - 添加更多的写入查询统计类型 [#10507](https://github.com/tikv/tikv/issues/10507) + ++ PD + + - 热点调度器的 QPS 维度支持更多的写请求类型 [#3869](https://github.com/tikv/pd/issues/3869) + - 通过动态调整 Balance Region 调度器的重试上限，优化该调度器的性能 [#3744](https://github.com/tikv/pd/issues/3744) + - 将 TiDB Dashboard 升级至 v2021.10.08.1 [#4070](https://github.com/tikv/pd/pull/4070) + - 允许 Evict Leader 调度器调度拥有不健康副本的 Region [#4093](https://github.com/tikv/pd/issues/4093) + - 优化调度器退出的速度 [#4146](https://github.com/tikv/pd/issues/4146) + ++ Tools + + + TiCDC + + - 通过修改 Kafka sink 配置项 `MaxMessageBytes` 的默认值，由 64 MB 减小为 1 MB，以修复消息过大会被 Kafka Broker 拒收的问题 [#3104](https://github.com/pingcap/ticdc/pull/3104) + - 减少同步链路中的内存占用 [#2553](https://github.com/pingcap/ticdc/issues/2553)[#3037](https://github.com/pingcap/ticdc/pull/3037) [#2726](https://github.com/pingcap/ticdc/pull/2726) + - 优化监控项和告警规则，提升了同步链路、内存 GC、存量数据扫描过程的可观测性 [#2735](https://github.com/pingcap/ticdc/pull/2735) [#1606](https://github.com/pingcap/ticdc/issues/1606) [#3000](https://github.com/pingcap/ticdc/pull/3000) [#2985](https://github.com/pingcap/ticdc/issues/2985) [#2156](https://github.com/pingcap/ticdc/issues/2156) + - 当同步任务状态正常时，不再显示历史错误信息，避免误导用户 [#2242](https://github.com/pingcap/ticdc/issues/2242) + +## Bug 修复 + ++ TiDB + + - 修复在分区中下推聚合算子时，因浅拷贝 schema 列导致执行计划出错，进而导致执行时报错的问题 [#27797](https://github.com/pingcap/tidb/issues/27797) [#26554](https://github.com/pingcap/tidb/issues/26554) + - 修复 `plan cache` 无法感知 `unsigned` 标志变化的问题 [#28254](https://github.com/pingcap/tidb/issues/28254) + - 修复当分区功能出现 `out of range` 时 `partition pruning` 出错的问题 [#28233](https://github.com/pingcap/tidb/issues/28233) + - 修复在某些情况下 Planner 可能缓存无效 `join` 计划的问题 [#28087](https://github.com/pingcap/tidb/issues/28087) + - 修复 hash 列为 `enum` 时构建错误 `IndexLookUpJoin` 的问题 [#27893](https://github.com/pingcap/tidb/issues/27893) + - 修复批处理客户端在某些罕见情况下回收空闲连接可能会阻塞发送请求的问题 [#27688](https://github.com/pingcap/tidb/pull/27688) + - 修复当 TiDB Lightning 在目标集群上执行校验失败时 panic 的问题 [#27686](https://github.com/pingcap/tidb/pull/27686) + - 修复某些情况下 `date_add` 和 `date_sub` 函数执行结果错误的问题 [#27232](https://github.com/pingcap/tidb/issues/27232) + - 修复 `hour` 函数在向量化表达式中执行结果错误的问题 [#28643](https://github.com/pingcap/tidb/issues/28643) + - 修复连接到 MySQL 5.1 或更早的客户端时存在的认证问题 [#27855](https://github.com/pingcap/tidb/issues/27855) + - 修复当新增索引时自动分析可能会在指定时间之外触发的问题 [#28698](https://github.com/pingcap/tidb/issues/28698) + - 修复设置任何会话变量都会使 `tidb_snapshot` 失效的问题 [#28683](https://github.com/pingcap/tidb/pull/28683) + - 修复在有大量 `miss-peer region` 的集群中 BR 不可用的问题 [#27534](https://github.com/pingcap/tidb/issues/27534) + - 修复当不支持的 `cast` 被下推到 TiFlash 时出现的非预期错误，例如 `tidb_cast to Int32 is not supported` [#23907](https://github.com/pingcap/tidb/issues/23907) + - 修复 `%s value is out of range in '%s'` 报错中缺失 `DECIMAL overflow` 信息的问题 [#27964](https://github.com/pingcap/tidb/issues/27964) + - 修复 MPP 节点的可用性检测在某些边界场景中无法工作的问题 [#3118](https://github.com/pingcap/tics/issues/3118) + - 修复分配 `MPP task ID` 时出现 `DATA RACE` 的问题 [#27952](https://github.com/pingcap/tidb/issues/27952) + - 修复删除空的 `dual table` 后 MPP 查询出现 `index out of range` 报错的问题 [#28250](https://github.com/pingcap/tidb/issues/28250) + - 修复运行 MPP 查询时出现 `invalid cop task execution summaries length` 相关日志的问题 [#1791](https://github.com/pingcap/tics/issues/1791) + - 修复运行 MPP 查询时出现 `cannot found column in Schema column` 报错的问题 [#28149](https://github.com/pingcap/tidb/pull/28149) + - 修复 TiDB 在 TiFlash 关闭时可能出现 panic 的问题 [#28096](https://github.com/pingcap/tidb/issues/28096) + - 移除对基于 3DES (三重数据加密算法) 不安全的 TLS 加密套件的支持 [#27859](https://github.com/pingcap/tidb/pull/27859) + - 修复因 Lightning 前置检查会连接已下线的 TiKV 节点而导致导入失败的问题 [#27826](https://github.com/pingcap/tidb/pull/27826) + - 修复在导入太多文件到表时前置检查花费太多时间的问题 [#27605](https://github.com/pingcap/tidb/issues/27605) + - 修复表达式重写时 `between` 推断出错误排序规则的问题 [#27146](https://github.com/pingcap/tidb/issues/27146) + - 修复 `group_concat` 函数没有考虑排序规则的问题 [#27429](https://github.com/pingcap/tidb/issues/27429) + - 修复 `extract` 函数处理负值时的问题 [#27236](https://github.com/pingcap/tidb/issues/27236) + - 修复当设置 `NO_UNSIGNED_SUBTRACTION` 时创建分区失败的问题 [#26765](https://github.com/pingcap/tidb/issues/26765) + - 避免在列修剪和聚合下推中使用有副作用的表达式 [#27106](https://github.com/pingcap/tidb/issues/27106) + - 删除无用的 gRPC 日志 [#24190](https://github.com/pingcap/tidb/issues/24190) + - 限制有效的小数点长度以修复精度相关的问题 [3091](https://github.com/pingcap/tics/issues/3091) + - 修复 `plus` 表达式中检查溢出方法出错的问题 [26977](https://github.com/pingcap/tidb/issues/26977) + - 修复当导出带有 `new collation` 数据的表的统计信息时报 `data too long` 错误的问题 [27024](https://github.com/pingcap/tidb/issues/27024) + - 修复 `TIDB_TRX` 中不包含重试事务的问题 [28670](https://github.com/pingcap/tidb/pull/28670) + ++ TiKV + + - 修复 Region 迁移时 Raftstore 模块出现死锁导致 TiKV 不可用的问题。用户可通过关闭调度并重启出问题的 TiKV 来临时应对。[#10909](https://github.com/tikv/tikv/issues/10909) + - 修复因 Congest 错误而导致的 CDC 频繁增加 scan 重试的问题 [#11082](https://github.com/tikv/tikv/issues/11082) + - 修复因 channel 打满而导致的 Raft 断连情况 [#11047](https://github.com/tikv/tikv/issues/11047) + - 修复 Raft client 中 batch 消息过大的问题 [#9714](https://github.com/tikv/tikv/issues/9714) + - 修复 `resolved_ts` 中协程泄漏的问题 [#10965](https://github.com/tikv/tikv/issues/10965) + - 修复当 response 大小超过 4 GiB 时 Coprocessor panic 的问题 [#9012](https://github.com/tikv/tikv/issues/9012) + - 修复当一个 snapshot 文件无法被垃圾清理 (GC) 时 snapshot GC 会缺失 GC snapshot 文件的问题 [#10813](https://github.com/tikv/tikv/issues/10813) + - 修复当处理 Coprocessor 请求时因超时而导致 panic 的问题 [#10852](https://github.com/tikv/tikv/issues/10852) + ++ PD + + - 修复因超过副本配置数量而导致错误删除带有数据且处于 pending 状态的副本的问题 [#4045](https://github.com/tikv/pd/issues/4045) + - 修复 PD 未能及时修复 Down Peer 副本的问题 [#4077](https://github.com/tikv/pd/issues/4077) + - 修复 Scatter Range 调度器无法对空 Region 进行调度的问题 [#4118](https://github.com/tikv/pd/pull/4118) + - 修复 key manager 占用过多 CPU 的问题 [#4071](https://github.com/tikv/pd/issues/4071) + - 修复热点调度器变更配置的过程中可能会存在的数据竞争问题 [#4159](https://github.com/tikv/pd/issues/4159) + - 修复因 Region syncer 卡住而导致 leader 选举慢的问题 [#3936](https://github.com/tikv/pd/issues/3936) + ++ TiFlash + + - 修复 TiFlash 在部分平台上由于缺失 `nsl` 库而无法启动的问题 + ++ Tools + + + TiCDC + + - 修复当上游 TiDB 实例意外退出时，TiCDC 同步任务推进可能停滞的问题 [#3061](https://github.com/pingcap/ticdc/issues/3061) + - 修复当 TiKV 向同一 Region 发送重复请求时，TiCDC 进程 panic 的问题 [#2386](https://github.com/pingcap/ticdc/issues/2386) + - 修复在验证下游 TiDB/MySQL 可用性时产生的不必要的 CPU 消耗 [#3073](https://github.com/pingcap/ticdc/issues/3073) + - 修复 TiCDC 产生的 Kafka 消息体积不受 `max-message-size` 约束的问题 [#2962](https://github.com/pingcap/ticdc/issues/2962) + - 修复当写入 Kafka 消息发生错误时，TiCDC 同步任务推进可能停滞的问题 [#2978](https://github.com/pingcap/ticdc/issues/2978) + - 修复当开启 `force-replicate` 时，可能某些没有有效索引的分区表被忽略的问题 [#2834](https://github.com/pingcap/ticdc/issues/2834) + - 修复当扫描存量数据耗时过长时，可能由于 TiKV 进行 GC 而导致存量数据扫描失败的问题 [#2470](https://github.com/pingcap/ticdc/issues/2470) + - 修复在将某些类型的列编码为 Open Protocol 格式时，TiCDC 进程可能 panic 的问题 [#2758](https://github.com/pingcap/ticdc/issues/2758) + - 修复在将某些类型的列编码为 Avro 格式时，TiCDC 进程可能 panic 的问题 [#2648](https://github.com/pingcap/ticdc/issues/2648) + + + TiDB Binlog + + - 修复当大部分表被过滤掉时，在某些特殊的负载下，checkpoint 不更新的问题 [#1075](https://github.com/pingcap/tidb-binlog/pull/1075) \ No newline at end of file From ce2a8376d7df3c3fac01022382caa5f8ad78ee58 Mon Sep 17 00:00:00 2001 From: qiancai Date: Wed, 3 Nov 2021 13:58:39 +0800 Subject: [PATCH 04/78] Update release-5.3.0.md --- releases/release-5.3.0.md | 52 ++++++++++++++++++++++++++------------- 1 file changed, 35 insertions(+), 17 deletions(-) diff --git a/releases/release-5.3.0.md b/releases/release-5.3.0.md index 37d48267484b..3032648c64e8 100644 --- a/releases/release-5.3.0.md +++ b/releases/release-5.3.0.md @@ -105,27 +105,31 @@ TiDB 版本：5.3.0 ## 性能优化 -- **功能 6** +- **TiFlash** - <功能描述 （功能是什么 + 能给用户带来什么好处 + 需要用户注意什么）> + - 降低远端数据读取的开销，减少网络传输量 + - 大幅优化 TiFlash TableScan 算子的执行效率 + - 新增以下函数支持： - <功能支持情况，TiDB 默认开启还是关闭此功能，如果默认关闭，如何开启> + - 新增运算符支持：LIKE expression + - 新增若干字符串函数支持：FORMAT(), LOWER(), LTRIM(), RTRIM(), SUBSTRING_INDEX(), TRIM(), UCASE(), UPPER() + - 新增数学函数支持：ROUND(decimal, int) + - 新增若干日期时间函数支持：HOUR(), MICROSECOND(), MINUTE(), SECOND(), SYSDATE() + - 新增 CAST 函数支持：CAST(time, real) + - 新增若干聚合函数支持：GROUP_CONCAT(), SUM(enum) - <如果功能限制或此功能特定的兼容性问题，需要提及> + - 支持在非 Linux 平台上，使用 Dashboard 查看硬件信息 [用户文档](/) ## 稳定性提升 -- **功能 7** +- **TiFlash** - <功能描述 （功能是什么 + 能给用户带来什么好处 + 需要用户注意什么）> - - <功能支持情况，TiDB 默认开启还是关闭此功能，如果默认关闭，如何开启> - - <如果功能限制或此功能特定的兼容性问题，需要提及> - - [用户文档](/) + - 优化在高负载下查询容易超时的问题 + - 优化 TiFlash 日志搜索性能，避免搜索大体量日志（大于 10GB）时出现的卡顿或失败现象 + - 加强数据历史版本的回收策略 + - 使用 TiUP 重启或升级多个 TiFlash 节点时，提升了滚动重启 TiFlash 进程过程中的服务稳定性 - **功能 8** @@ -151,16 +155,30 @@ TiDB 版本：5.3.0 ## 数据迁移 -- **功能 10** - - <功能描述 （功能是什么 + 能给用户带来什么好处 + 需要用户注意什么）> +- **支持部署多个 Lightning** - <功能支持情况，TiDB 默认开启还是关闭此功能，如果默认关闭，如何开启> + 新版本 TiDB Lightning 支持用户同时部署多个 Lightning，并行地将单表或者多表数据迁移 TiDB。 该功能无须特别的配置，在不改变用户使用习惯的同时，极大的提高用户的数据迁移能力，助力大数据量业务架构升级，在生产环境使用 TiDB。 - <如果功能限制或此功能特定的兼容性问题，需要提及> + 在我们性能测试中，使用 x 个 Lightning 导入整体大小 x TB MySQL 分表数据到 TiDB 单表，总耗时 x h，平均单台 Lightning 速度达到 x GB/h。（数据待更新） [用户文档](/) +- **提高 DM 复制性能（Replication performance improvement）** + + 以更低的延迟将数据从 MySQL 同步到 TiDB，包含三项子内容 + + - 合并单行数据的多次变更（Compact multiple updates on a single row into one statement） + - 点查更新合并为批量操作（Merge batch updates of multiple rows into one statement） + - 异步保存检查点（Async Checkpoint） + +- **增加 DM 的 OpenAPI 以更方便地管理集群** + +- **Lightning 支持导入 GBK 编码文件** + + [用户文档](/tidb-lightning-configuration.md) + +- **Lightning 支持忽略部分错误行** + ## TiDB 数据共享订阅 - **功能 10** From a76bcec42bcc97573d7835565a8898f545b48d8f Mon Sep 17 00:00:00 2001 From: qiancai Date: Wed, 3 Nov 2021 16:58:22 +0800 Subject: [PATCH 05/78] Update release-5.3.0.md --- releases/release-5.3.0.md | 25 +++++++++++++++++-------- 1 file changed, 17 insertions(+), 8 deletions(-) diff --git a/releases/release-5.3.0.md b/releases/release-5.3.0.md index 3032648c64e8..b5bd3d5b0dda 100644 --- a/releases/release-5.3.0.md +++ b/releases/release-5.3.0.md @@ -105,12 +105,11 @@ TiDB 版本：5.3.0 ## 性能优化 -- **TiFlash** +- **提升 TiFlash 实时分析能力** - 降低远端数据读取的开销，减少网络传输量 - 大幅优化 TiFlash TableScan 算子的执行效率 - - 新增以下函数支持： - + - 新增更多的函数支持，提升 - 新增运算符支持：LIKE expression - 新增若干字符串函数支持：FORMAT(), LOWER(), LTRIM(), RTRIM(), SUBSTRING_INDEX(), TRIM(), UCASE(), UPPER() - 新增数学函数支持：ROUND(decimal, int) @@ -124,7 +123,7 @@ TiDB 版本：5.3.0 ## 稳定性提升 -- **TiFlash** +- **提升 TiFlash 稳定性** - 优化在高负载下查询容易超时的问题 - 优化 TiFlash 日志搜索性能，避免搜索大体量日志（大于 10GB）时出现的卡顿或失败现象 @@ -155,15 +154,15 @@ TiDB 版本：5.3.0 ## 数据迁移 -- **支持部署多个 Lightning** +- **支持部署多个 TiDB Lightning** - 新版本 TiDB Lightning 支持用户同时部署多个 Lightning，并行地将单表或者多表数据迁移 TiDB。 该功能无须特别的配置，在不改变用户使用习惯的同时，极大的提高用户的数据迁移能力，助力大数据量业务架构升级，在生产环境使用 TiDB。 + 新版本 TiDB Lightning 支持用户同时部署多个 Lightning，并行地将单表或者多表数据迁移 TiDB。 该功能无需特别的配置，在不改变用户使用习惯的同时，极大提高了用户的数据迁移能力，助力大数据量业务架构升级，在生产环境使用 TiDB。 - 在我们性能测试中，使用 x 个 Lightning 导入整体大小 x TB MySQL 分表数据到 TiDB 单表，总耗时 x h，平均单台 Lightning 速度达到 x GB/h。（数据待更新） + 在产品性能测试中，使用 x 个 Lightning 导入整体大小 x TB MySQL 分表数据到 TiDB 单表，总耗时 x h，平均单台 Lightning 速度达到 x GB/h。（数据待更新） [用户文档](/) -- **提高 DM 复制性能（Replication performance improvement）** +- **提高 DM 复制性能** 以更低的延迟将数据从 MySQL 同步到 TiDB，包含三项子内容 @@ -173,12 +172,22 @@ TiDB 版本：5.3.0 - **增加 DM 的 OpenAPI 以更方便地管理集群** + <功能描述 （DM 的 OpenAPI 是什么 + 能给用户带来什么好处 + 需要用户注意什么）> + + <功能支持情况，TiDB 默认开启还是关闭此功能，如果默认关闭，如何开启> + + <如果功能限制或此功能特定的兼容性问题，需要提及> + + [用户文档](/) + - **Lightning 支持导入 GBK 编码文件** [用户文档](/tidb-lightning-configuration.md) - **Lightning 支持忽略部分错误行** + <能给用户带来什么好处> + ## TiDB 数据共享订阅 - **功能 10** From cdd6a5637bc45fcdbc54ad04565ef5915c256b55 Mon Sep 17 00:00:00 2001 From: qiancai Date: Wed, 3 Nov 2021 17:10:28 +0800 Subject: [PATCH 06/78] Update release-5.3.0.md --- releases/release-5.3.0.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/releases/release-5.3.0.md b/releases/release-5.3.0.md index b5bd3d5b0dda..b53d01c431bd 100644 --- a/releases/release-5.3.0.md +++ b/releases/release-5.3.0.md @@ -164,7 +164,7 @@ TiDB 版本：5.3.0 - **提高 DM 复制性能** - 以更低的延迟将数据从 MySQL 同步到 TiDB，包含三项子内容 + 支持以下功能，实现以更低的延迟将数据从 MySQL 同步数据到 TiDB。 - 合并单行数据的多次变更（Compact multiple updates on a single row into one statement） - 点查更新合并为批量操作（Merge batch updates of multiple rows into one statement） From ef54ff2bccd4abff6aa96ab7a565ca27083052bb Mon Sep 17 00:00:00 2001 From: Grace Cai Date: Wed, 3 Nov 2021 18:47:22 +0800 Subject: [PATCH 07/78] Update releases/release-5.3.0.md Co-authored-by: Ian --- releases/release-5.3.0.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/releases/release-5.3.0.md b/releases/release-5.3.0.md index b53d01c431bd..7c037730b283 100644 --- a/releases/release-5.3.0.md +++ b/releases/release-5.3.0.md @@ -158,7 +158,7 @@ TiDB 版本：5.3.0 新版本 TiDB Lightning 支持用户同时部署多个 Lightning，并行地将单表或者多表数据迁移 TiDB。 该功能无需特别的配置，在不改变用户使用习惯的同时，极大提高了用户的数据迁移能力，助力大数据量业务架构升级，在生产环境使用 TiDB。 - 在产品性能测试中，使用 x 个 Lightning 导入整体大小 x TB MySQL 分表数据到 TiDB 单表，总耗时 x h，平均单台 Lightning 速度达到 x GB/h。（数据待更新） + 在产品性能测试中，使用 x 个 Lightning 导入整体大小 x TB MySQL 分表数据到 TiDB 单表，总耗时 x h，平均单台 Lightning 速度达到 x GB/h。（数据待更新）。此外在 MySQL 分表数据聚合迁移到 TiDB 的场景中，MySQL 分表之间可能有冲突数据（主键/唯一键索引相同的数据），Lightning 也支持了冲突数据监测功能，用户可以使用该功能找到冲突数据，然后按照业务需要进行处理，冲突检测使用文档。 [用户文档](/) From e9e4861843d82cd7ed5863c13b4b110f4e3cb2eb Mon Sep 17 00:00:00 2001 From: qiancai Date: Thu, 4 Nov 2021 09:09:43 +0800 Subject: [PATCH 08/78] Update release-5.3.0.md --- releases/release-5.3.0.md | 11 ++++++++--- 1 file changed, 8 insertions(+), 3 deletions(-) diff --git a/releases/release-5.3.0.md b/releases/release-5.3.0.md index 7c037730b283..064f66f82940 100644 --- a/releases/release-5.3.0.md +++ b/releases/release-5.3.0.md @@ -24,8 +24,8 @@ TiDB 版本：5.3.0 | 变量名 | 修改类型 | 描述 | | :---------- | :----------- | :----------- | -| | | | -| | | | +|tidb_enable_noop_functions | 修改 | 此变量不在控制 `CREATE TEMPORARY TABLE` 和 `DROP TEMPORARY TABLE` 行为。 | +| tidb_tmp_table_max_size | 新增 | 此变量用于限制单个[临时表](/temporary-table.md)的最大大小，临时表超出该大小后报错。 | | | | | ### 配置文件参数 @@ -38,7 +38,12 @@ TiDB 版本：5.3.0 ### 其他 -- +- 临时表： + + - 如果在 v5.3.0 升级前创建了 session 临时表，这些临时表在升级后会被 TiDB 当成普通表处理，导致应用报错。在 v5.3.0 上创建的 global 临时表在降级后会被当作普通表处理，导致应用报错。 + - TiCDC 和 BR 从 v5.3.0 开始支持[全局临时表]((/temporary-table.md#全局临时表)。如果使用 v5.3.0 以下版本同步全局临时表到下游，会导致表定义错误。 如果 TiCDC 和 BR 的上游集群包含全局临时表，下游集群必须是 TiDB 5.3.0 及以上版本，否则同步报错。 + - 更多关于临时表兼容性信息，请参考 [临时表与其他功能的兼容性](/temporary-table.md#与其他功能的兼容性) + - - - From 8888344c2b3b03fbc7ea2ed0d9b1135fb692b054 Mon Sep 17 00:00:00 2001 From: Grace Cai Date: Thu, 4 Nov 2021 13:46:03 +0800 Subject: [PATCH 09/78] Update releases/release-5.3.0.md Co-authored-by: Ian --- releases/release-5.3.0.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/releases/release-5.3.0.md b/releases/release-5.3.0.md index 064f66f82940..6194cfd03cde 100644 --- a/releases/release-5.3.0.md +++ b/releases/release-5.3.0.md @@ -163,7 +163,7 @@ TiDB 版本：5.3.0 新版本 TiDB Lightning 支持用户同时部署多个 Lightning，并行地将单表或者多表数据迁移 TiDB。 该功能无需特别的配置，在不改变用户使用习惯的同时，极大提高了用户的数据迁移能力，助力大数据量业务架构升级，在生产环境使用 TiDB。 - 在产品性能测试中，使用 x 个 Lightning 导入整体大小 x TB MySQL 分表数据到 TiDB 单表，总耗时 x h，平均单台 Lightning 速度达到 x GB/h。（数据待更新）。此外在 MySQL 分表数据聚合迁移到 TiDB 的场景中，MySQL 分表之间可能有冲突数据（主键/唯一键索引相同的数据），Lightning 也支持了冲突数据监测功能，用户可以使用该功能找到冲突数据，然后按照业务需要进行处理，冲突检测使用文档。 + 在产品性能测试中，使用 x 个 Lightning 导入整体大小 x TB MySQL 分表数据到 TiDB 单表，总耗时 x h，平均单台 Lightning 速度达到 x GB/h。（数据待更新）。此外在 MySQL 分表数据聚合迁移到 TiDB 的场景中，MySQL 分表之间可能有冲突数据（主键/唯一键索引相同的数据），Lightning 也支持了数据导入过程中检查冲突数据的功能，用户可以使用该功能发现冲突数据，然后按照业务规则进行处理，冲突检测使用文档（待更新）。 [用户文档](/) From 9ed14476aaea781f54f76144062ad2ff5d7fb2f7 Mon Sep 17 00:00:00 2001 From: Grace Cai Date: Thu, 4 Nov 2021 21:28:43 +0800 Subject: [PATCH 10/78] Apply suggestions from code review Co-authored-by: djshow832 Co-authored-by: FiatLux Co-authored-by: Yiding Cui Co-authored-by: Lei Zhao --- releases/release-5.3.0.md | 13 ++++++++----- 1 file changed, 8 insertions(+), 5 deletions(-) diff --git a/releases/release-5.3.0.md b/releases/release-5.3.0.md index 6194cfd03cde..8e02cc837c7a 100644 --- a/releases/release-5.3.0.md +++ b/releases/release-5.3.0.md @@ -40,9 +40,10 @@ TiDB 版本：5.3.0 - 临时表： - - 如果在 v5.3.0 升级前创建了 session 临时表，这些临时表在升级后会被 TiDB 当成普通表处理，导致应用报错。在 v5.3.0 上创建的 global 临时表在降级后会被当作普通表处理，导致应用报错。 - - TiCDC 和 BR 从 v5.3.0 开始支持[全局临时表]((/temporary-table.md#全局临时表)。如果使用 v5.3.0 以下版本同步全局临时表到下游，会导致表定义错误。 如果 TiCDC 和 BR 的上游集群包含全局临时表，下游集群必须是 TiDB 5.3.0 及以上版本，否则同步报错。 - - 更多关于临时表兼容性信息，请参考 [临时表与其他功能的兼容性](/temporary-table.md#与其他功能的兼容性) + - 如果在 v5.3.0 升级前创建了本地临时表，这些临时表实际为普通表，在升级后也会被 TiDB 当成普通表处理。在 v5.3.0 上创建的全局临时表在降级后会被当作普通表处理，导致数据错误。 + - TiCDC 和 BR 从 v5.3.0 开始支持[全局临时表](/temporary-table.md#全局临时表)。如果使用 v5.3.0 以下版本同步全局临时表到下游，会导致表定义错误。 + - 通过 TiDB 生态工具导入的集群、恢复后的集群、同步的下游集群必须是 TiDB v5.3.0 及以上版本，否则报错。 + - 更多关于临时表兼容性信息，请参考 [临时表与其他功能的兼容性](/temporary-table.md#与其他-tidb-功能的兼容性限制) - - @@ -219,7 +220,7 @@ TiDB 版本：5.3.0 ## 部署及运维 -- **持续性能分析** +- **持续性能分析（实验特性）** TiDB Dashboard 引入持续性能分析功能，提供在集群运行状态时自动保存实例性能分析结果的能力，通过火焰图的形式提高了 TiDB 集群性能的可观测性，有助于缩短故障诊断时间。 @@ -241,11 +242,13 @@ TiDB 在遥测中新增收集 <列出本次新增遥测内容>。 - 当 coprocessor 遇到锁时，在调试日志中显示受影响的 SQL 语句帮助诊断问题 [#27718](https://github.com/pingcap/tidb/issues/27718) - 在 SQL 逻辑层备份和恢复数据时，支持显示备份和恢复数据的大小 [#27247](https://github.com/pingcap/tidb/issues/27247) + - 改进 `tidb_analyze_version=2` 时 ANALYZE 默认的收集逻辑，提高收集速度并且降低资源开销 + - 引入语法 `ANALYZE TABLE table_name COLUMNS col_1, col_2, ..., col_n`，为宽表提供只收集一部分列统计信息的方案。提高宽表收集统计信息的速度。 + TiKV - 简化 L0 层流控算法 [#10879](https://github.com/tikv/tikv/issues/10879) - - 优化 raft client 错误日志的收集 [#10983](https://github.com/tikv/tikv/pull/10983) + - 优化 raft client 错误日志的收集 [#10944](https://github.com/tikv/tikv/pull/10944) - 优化日志线程以避免其成为性能瓶颈 [#10841](https://github.com/tikv/tikv/issues/10841) - 添加更多的写入查询统计类型 [#10507](https://github.com/tikv/tikv/issues/10507) From 851c050b5d2fcd93dca2d295bed4e71e63200c7e Mon Sep 17 00:00:00 2001 From: Grace Cai Date: Thu, 4 Nov 2021 21:29:08 +0800 Subject: [PATCH 11/78] Apply suggestions from code review MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Co-authored-by: 王超 --- releases/release-5.3.0.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/releases/release-5.3.0.md b/releases/release-5.3.0.md index 8e02cc837c7a..38eac4834d1e 100644 --- a/releases/release-5.3.0.md +++ b/releases/release-5.3.0.md @@ -24,7 +24,7 @@ TiDB 版本：5.3.0 | 变量名 | 修改类型 | 描述 | | :---------- | :----------- | :----------- | -|tidb_enable_noop_functions | 修改 | 此变量不在控制 `CREATE TEMPORARY TABLE` 和 `DROP TEMPORARY TABLE` 行为。 | +|tidb_enable_noop_functions | 修改 | 此变量不再控制 `CREATE TEMPORARY TABLE` 和 `DROP TEMPORARY TABLE` 行为。 | | tidb_tmp_table_max_size | 新增 | 此变量用于限制单个[临时表](/temporary-table.md)的最大大小，临时表超出该大小后报错。 | | | | | From a2ca6476901289d54ec86772c9cc3a7da946afba Mon Sep 17 00:00:00 2001 From: Grace Cai Date: Thu, 4 Nov 2021 22:07:10 +0800 Subject: [PATCH 12/78] Update releases/release-5.3.0.md Co-authored-by: Lei Zhao --- releases/release-5.3.0.md | 3 ++- 1 file changed, 2 insertions(+), 1 deletion(-) diff --git a/releases/release-5.3.0.md b/releases/release-5.3.0.md index 38eac4834d1e..f11c6cee20db 100644 --- a/releases/release-5.3.0.md +++ b/releases/release-5.3.0.md @@ -318,7 +318,8 @@ TiDB 在遥测中新增收集 <列出本次新增遥测内容>。 - 修复当 response 大小超过 4 GiB 时 Coprocessor panic 的问题 [#9012](https://github.com/tikv/tikv/issues/9012) - 修复当一个 snapshot 文件无法被垃圾清理 (GC) 时 snapshot GC 会缺失 GC snapshot 文件的问题 [#10813](https://github.com/tikv/tikv/issues/10813) - 修复当处理 Coprocessor 请求时因超时而导致 panic 的问题 [#10852](https://github.com/tikv/tikv/issues/10852) - + - 修复因统计线程监控数据导致的内存泄漏 [#11195](https://github.com/tikv/tikv/issues/11195) + - 修复在某些平台获取 cgroup 信息导致 panic 的问题 [#10980](https://github.com/tikv/tikv/pull/10980) + PD - 修复因超过副本配置数量而导致错误删除带有数据且处于 pending 状态的副本的问题 [#4045](https://github.com/tikv/pd/issues/4045) From 86ce5bc8876fe14f7eb21982817d93b28689ab22 Mon Sep 17 00:00:00 2001 From: qiancai Date: Thu, 4 Nov 2021 22:16:56 +0800 Subject: [PATCH 13/78] add_tiflash_content --- releases/release-5.3.0.md | 27 +++++++++++++++++++++++++++ 1 file changed, 27 insertions(+) diff --git a/releases/release-5.3.0.md b/releases/release-5.3.0.md index f11c6cee20db..91ccb09c00fe 100644 --- a/releases/release-5.3.0.md +++ b/releases/release-5.3.0.md @@ -260,6 +260,25 @@ TiDB 在遥测中新增收集 <列出本次新增遥测内容>。 - 允许 Evict Leader 调度器调度拥有不健康副本的 Region [#4093](https://github.com/tikv/pd/issues/4093) - 优化调度器退出的速度 [#4146](https://github.com/tikv/pd/issues/4146) ++ TiFlash + + - 显著优化了 TableScan 算子的执行效率 + - 减少了存储引擎的 GC 过程中的写放大和内存使用 + - 改进了 TiFlash 重启时的稳定性和可用性，减少了重启结束后短时间内查询可能失败的情况 + - 增加支持下推多个新的字符串，时间等函数到 MPP 引擎 + + - 字符串函数：LIKE pattern，FORMAT(), LOWER(), LTRIM(), RTRIM(), SUBSTRING_INDEX(), TRIM(), UCASE(), UPPER() + - 数学函数：ROUND(decimal, int) + - 日期时间函数：HOUR(), MICROSECOND(), MINUTE(), SECOND(), SYSDATE() + - 类型转换函数：CAST(time, real) + - 聚合函数：GROUP_CONCAT(), SUM(enum) + + - 提供了 512 位 SIMD 支持 + - 增强了对过期的数据版本的清理算法，减少磁盘使用量及提高读文件性能 + - 解决了用户在某些非Linux平台系统上查看 dashboard 时，无法获取内存或CPU等相关信息 + - 统一 TiFlash 日志文件的命名风格（与 TiKV 保持一致），并支持动态修改 logger.count、logger.size + - 完善了列存文件的数据校验能力（checksums，实验功能） + + Tools + TiCDC @@ -332,6 +351,14 @@ TiDB 在遥测中新增收集 <列出本次新增遥测内容>。 + TiFlash - 修复 TiFlash 在部分平台上由于缺失 `nsl` 库而无法启动的问题 + - 阻止 wait index 无限等待，防止写入压力较重时 TiFlash 长时间等待数据同步而无法提供服务的问题（新增默认超时为5分钟） + - 解决了当日志体量很大时，用户搜索日志很慢或搜索不出的问题 + - 解决了搜索比较久远的历史日志时，只能搜索出最近的一部分日志的问题 + - 修复在打开 new collation 的情况下可能出现的结果错误 + - 修复 SQL 语句中含有极长嵌套表达式时可能出现的解析错误 + - 修复 Exchange 算子中可能出现的 `Block schema mismatch` 错误 + - 修复 Decimal 类型比较时可能出现的 `Can't compare` 错误 + - 修复 `left/substring` 函数中的 `3rd arguments of function substringUTF8 must be constants` 错误 + Tools From 2f2055530c03de2e508687c7da97df8e3afeaa4c Mon Sep 17 00:00:00 2001 From: qiancai Date: Thu, 4 Nov 2021 22:20:40 +0800 Subject: [PATCH 14/78] Update release-5.3.0.md --- releases/release-5.3.0.md | 1 + 1 file changed, 1 insertion(+) diff --git a/releases/release-5.3.0.md b/releases/release-5.3.0.md index 91ccb09c00fe..78d9a349f45a 100644 --- a/releases/release-5.3.0.md +++ b/releases/release-5.3.0.md @@ -326,6 +326,7 @@ TiDB 在遥测中新增收集 <列出本次新增遥测内容>。 - 修复 `plus` 表达式中检查溢出方法出错的问题 [26977](https://github.com/pingcap/tidb/issues/26977) - 修复当导出带有 `new collation` 数据的表的统计信息时报 `data too long` 错误的问题 [27024](https://github.com/pingcap/tidb/issues/27024) - 修复 `TIDB_TRX` 中不包含重试事务的问题 [28670](https://github.com/pingcap/tidb/pull/28670) + - 修复配置项 `plugin_dir` 的默认值错误问题 [28084](https://github.com/pingcap/tidb/issues/28084) + TiKV From 4a4f1f849819b33fbbdbccb4a538afa0fc635698 Mon Sep 17 00:00:00 2001 From: qiancai Date: Thu, 4 Nov 2021 22:31:41 +0800 Subject: [PATCH 15/78] remove_duplicated_notes --- releases/release-5.3.0.md | 9 --------- 1 file changed, 9 deletions(-) diff --git a/releases/release-5.3.0.md b/releases/release-5.3.0.md index 78d9a349f45a..4d46c22a3074 100644 --- a/releases/release-5.3.0.md +++ b/releases/release-5.3.0.md @@ -114,15 +114,6 @@ TiDB 版本：5.3.0 - **提升 TiFlash 实时分析能力** - 降低远端数据读取的开销，减少网络传输量 - - 大幅优化 TiFlash TableScan 算子的执行效率 - - 新增更多的函数支持，提升 - - 新增运算符支持：LIKE expression - - 新增若干字符串函数支持：FORMAT(), LOWER(), LTRIM(), RTRIM(), SUBSTRING_INDEX(), TRIM(), UCASE(), UPPER() - - 新增数学函数支持：ROUND(decimal, int) - - 新增若干日期时间函数支持：HOUR(), MICROSECOND(), MINUTE(), SECOND(), SYSDATE() - - 新增 CAST 函数支持：CAST(time, real) - - 新增若干聚合函数支持：GROUP_CONCAT(), SUM(enum) - - 支持在非 Linux 平台上，使用 Dashboard 查看硬件信息 [用户文档](/) From 34f66dbc94a820c8e0955dc32184f07a2256591a Mon Sep 17 00:00:00 2001 From: qiancai Date: Thu, 4 Nov 2021 22:56:11 +0800 Subject: [PATCH 16/78] add_oltp_features --- releases/release-5.3.0.md | 74 +++++++++++++++++++++++++-------------- 1 file changed, 47 insertions(+), 27 deletions(-) diff --git a/releases/release-5.3.0.md b/releases/release-5.3.0.md index 4d46c22a3074..27fe4e5c8dbd 100644 --- a/releases/release-5.3.0.md +++ b/releases/release-5.3.0.md @@ -53,35 +53,38 @@ TiDB 版本：5.3.0 ### SQL -- **功能 1** +- **SQL 接口设置数据放置规则（实验特性）** - <功能描述 （功能是什么 + 能给用户带来什么好处 + 需要用户注意什么）> + 增加 `[CREATE | ALTER] PLACEMENT POLICY` 语句支持，提供 SQL 接口设置数据放置规则。通过该功能，用户可以指定任意连续数据按照不同地域，机房，机柜，主机，硬件，副本数规则进行部署，满足低成本，高可用，灵活多变的业务诉求。该功能可以实现以下业务场景： - <功能支持情况，TiDB 默认开启还是关闭此功能，如果默认关闭，如何开启> - - <如果功能限制或此功能特定的兼容性问题，需要提及> + - 跨区域放置数据以改善局部访问性能 + - 多业务数据库合并，降低大量数据库的常规运维管理成本，并通过规则配置实现业务资源隔离 + - 增加更重要数据的副本数，提高业务可用性，数据可靠性 + - 将最新数据存入 SSD，历史数据存入 HDD，降低归档数据存储成本 + - 把热点数据的 leader 放到高性能的 TiKV 实例上 + - 将不相关的数据分离到不同的存储中以提高可用性 [用户文档](/) -- **功能 2** +- **临时表** - <功能描述 （功能是什么 + 能给用户带来什么好处 + 需要用户注意什么）> + 增加 CREATE [GLOBAL] TEMPORARY TABLE 语句支持，支持创建临时表，方便业务管理中间计算的临时数据。临时表中的数据均保存在内存中，用户可通过 tidb_tmp_table_max_size 变量限制临时表的内存大小。TiDB 支持以下两种临时表： - <功能支持情况，TiDB 默认开启还是关闭此功能，如果默认关闭，如何开启> - - <如果功能限制或此功能特定的兼容性问题，需要提及> + - Global 临时表 + - 对集群内所有 session 可见，表结构持久化。 + - 提供事务级别的数据隔离，数据只在事务内有效，事务结束后自动删除数据。 + - Local 临时表 + - 只对当前 session 可见，表结构不持久化。 + - 支持重名，用户无需为业务设计复杂的表命名规则。 + - 提供会话级别的数据隔离，降低业务设计复杂度，会话结束后删除临时表。 [用户文档](/) -### 事务 +- **表/分区表属性设置** -- **功能 3** + 增加 ALTER TABLE [PARTITION] ATTRIBUTES 语句支持，允许用户设置表，分区表属性，目前支持 merge_option 属性。通过 merge_option 用户可以显式控制 region 是否合并。 - <功能描述 （功能是什么 + 能给用户带来什么好处 + 需要用户注意什么）> - - <功能支持情况，TiDB 默认开启还是关闭此功能，如果默认关闭，如何开启> - - <如果功能限制或此功能特定的兼容性问题，需要提及> + 应用场景：用户 SPLIT TABLE 之后不会马上插入数据的情况下，超过一定时间后，空 region 默认会被自动合并。用户可以通过该功能设置表属性为 merge_option=deny，避免 region 的自动合并。 [用户文档](/) @@ -111,6 +114,22 @@ TiDB 版本：5.3.0 ## 性能优化 +- **优化 PD 时间戳处理流程** + + 优化 TiDB 时间戳处理流程，支持通过开启 PD follower proxy 和调整 PD client 批量请求 TSO 的最大等待时长，降低 PD leader 时间戳处理负载，提升系统整体可扩展性。 + + - 支持通过 tidb_enable_tso_follower_proxy 参数设置 PD follower proxy 功能开关。在 PD 时间戳请求负载过高的情况下，通过开启 PD follower proxy，可以将 follower 上请求周期内收集到的 TSO request 批量转发到 leader 节点，有效减少 client 与 leader 的直接交互次数，降低 leader 的负载，提升 TiDB 整体性能。 + + > **注意：** + > + > 在 client 数较少的情况下，PD leader 负载不高的情况下，不建议开启 PD follower proxy 功能。 + + - 支持通过 tidb_tso_client_batch_max_wait_time 参数设置 PD client 批量请求 TSO 的最大等待时间，单位毫秒。在 PD TSO 请求负载过高的情况下，通过调大该参数，可以提升一次请求 TSO 的数量，降低 PD 负载，提升吞吐。 + + > **注意：** + > + > 在 TSO 请求负载不高的情况下，不建议调整该参数。 + - **提升 TiFlash 实时分析能力** - 降低远端数据读取的开销，减少网络传输量 @@ -120,22 +139,23 @@ TiDB 版本：5.3.0 ## 稳定性提升 -- **提升 TiFlash 稳定性** +- **支持 Raft 多数副本丢失下的在线恢复能力** - - 优化在高负载下查询容易超时的问题 - - 优化 TiFlash 日志搜索性能，避免搜索大体量日志（大于 10GB）时出现的卡顿或失败现象 - - 加强数据历史版本的回收策略 - - 使用 TiUP 重启或升级多个 TiFlash 节点时，提升了滚动重启 TiFlash 进程过程中的服务稳定性 + 增加 PD-CTL RECOVER-STORE-FAILURE 语句支持，提供在线恢复 TiKV 实例能力。通过该功能，用户可以实现： -- **功能 8** + - 在线恢复所有 Raft 多数副本丢失的 Region 可读写。 + - 保证恢复所有 Region 后没有数据空洞。 - <功能描述 （功能是什么 + 能给用户带来什么好处 + 需要用户注意什么）> + 需要注意的是，Raft 多数失败的情况下无法避免已提交数据的丢失。 - <功能支持情况，TiDB 默认开启还是关闭此功能，如果默认关闭，如何开启> + [用户文档](/) - <如果功能限制或此功能特定的兼容性问题，需要提及> +- **提升 TiFlash 稳定性** - [用户文档](/) + - 优化在高负载下查询容易超时的问题 + - 优化 TiFlash 日志搜索性能，避免搜索大体量日志（大于 10GB）时出现的卡顿或失败现象 + - 加强数据历史版本的回收策略 + - 使用 TiUP 重启或升级多个 TiFlash 节点时，提升了滚动重启 TiFlash 进程过程中的服务稳定性 ## 高可用和容灾 From 55b8e29cb2227304cea6192890963724e3e7e942 Mon Sep 17 00:00:00 2001 From: qiancai Date: Fri, 5 Nov 2021 10:40:40 +0800 Subject: [PATCH 17/78] Update release-5.3.0.md --- releases/release-5.3.0.md | 28 ++++++++-------------------- 1 file changed, 8 insertions(+), 20 deletions(-) diff --git a/releases/release-5.3.0.md b/releases/release-5.3.0.md index 27fe4e5c8dbd..ba55c241b1d4 100644 --- a/releases/release-5.3.0.md +++ b/releases/release-5.3.0.md @@ -88,18 +88,6 @@ TiDB 版本：5.3.0 [用户文档](/) -### 字符集和排序规则 - -- **功能 4** - - <功能描述 （功能是什么 + 能给用户带来什么好处 + 需要用户注意什么）> - - <功能支持情况，TiDB 默认开启还是关闭此功能，如果默认关闭，如何开启> - - <如果功能限制或此功能特定的兼容性问题，需要提及> - - [用户文档](/) - ### 安全 - **功能 5** @@ -112,7 +100,7 @@ TiDB 版本：5.3.0 [用户文档](/) -## 性能优化 +### 性能 - **优化 PD 时间戳处理流程** @@ -137,7 +125,7 @@ TiDB 版本：5.3.0 [用户文档](/) -## 稳定性提升 +### 稳定性 - **支持 Raft 多数副本丢失下的在线恢复能力** @@ -157,7 +145,7 @@ TiDB 版本：5.3.0 - 加强数据历史版本的回收策略 - 使用 TiUP 重启或升级多个 TiFlash 节点时，提升了滚动重启 TiFlash 进程过程中的服务稳定性 -## 高可用和容灾 +### 高可用和容灾 - **功能 9** @@ -169,7 +157,7 @@ TiDB 版本：5.3.0 [用户文档](/) -## 数据迁移 +### 数据迁移 - **支持部署多个 TiDB Lightning** @@ -205,7 +193,7 @@ TiDB 版本：5.3.0 <能给用户带来什么好处> -## TiDB 数据共享订阅 +### TiDB 数据共享订阅 - **功能 10** @@ -217,7 +205,7 @@ TiDB 版本：5.3.0 [用户文档](/) -## 问题诊断效率 +### 问题诊断效率 - **功能 10** @@ -229,7 +217,7 @@ TiDB 版本：5.3.0 [用户文档](/) -## 部署及运维 +### 部署及运维 - **持续性能分析（实验特性）** @@ -241,7 +229,7 @@ TiDB 版本：5.3.0 [用户文档](/) -## 遥测 +### 遥测 TiDB 在遥测中新增收集 <列出本次新增遥测内容>。 From ec67e2e4e31aa2c1d639d2790373fda73a744447 Mon Sep 17 00:00:00 2001 From: qiancai Date: Fri, 5 Nov 2021 14:12:10 +0800 Subject: [PATCH 18/78] Update release-5.3.0.md --- releases/release-5.3.0.md | 16 +--------------- 1 file changed, 1 insertion(+), 15 deletions(-) diff --git a/releases/release-5.3.0.md b/releases/release-5.3.0.md index ba55c241b1d4..9d2b07a99456 100644 --- a/releases/release-5.3.0.md +++ b/releases/release-5.3.0.md @@ -116,14 +116,7 @@ TiDB 版本：5.3.0 > **注意：** > - > 在 TSO 请求负载不高的情况下，不建议调整该参数。 - -- **提升 TiFlash 实时分析能力** - - - 降低远端数据读取的开销，减少网络传输量 - - 支持在非 Linux 平台上，使用 Dashboard 查看硬件信息 - - [用户文档](/) + > 在 TSO 请求负载不高的情况下，不建议调整该参数。 ### 稳定性 @@ -138,13 +131,6 @@ TiDB 版本：5.3.0 [用户文档](/) -- **提升 TiFlash 稳定性** - - - 优化在高负载下查询容易超时的问题 - - 优化 TiFlash 日志搜索性能，避免搜索大体量日志（大于 10GB）时出现的卡顿或失败现象 - - 加强数据历史版本的回收策略 - - 使用 TiUP 重启或升级多个 TiFlash 节点时，提升了滚动重启 TiFlash 进程过程中的服务稳定性 - ### 高可用和容灾 - **功能 9** From e8cbff8aa754a6b926edeaff0acd90fe9e7f9e1f Mon Sep 17 00:00:00 2001 From: Grace Cai Date: Fri, 5 Nov 2021 18:56:49 +0800 Subject: [PATCH 19/78] Apply suggestions from code review Co-authored-by: leoppro --- releases/release-5.3.0.md | 14 ++++++++------ 1 file changed, 8 insertions(+), 6 deletions(-) diff --git a/releases/release-5.3.0.md b/releases/release-5.3.0.md index 9d2b07a99456..feb61d435689 100644 --- a/releases/release-5.3.0.md +++ b/releases/release-5.3.0.md @@ -178,16 +178,18 @@ TiDB 版本：5.3.0 - **Lightning 支持忽略部分错误行** <能给用户带来什么好处> +- **Sync-diff-inspector 优化** + - 大幅提升了对比速度，由原来的 375 MB/s 提升至 700 MB/s + - 对比过程中对 TiDB 节点的内存消耗降低近一半 + - 优化了用户交互界面，在对比过程中可以显示进度 + + [用户文档](/) ### TiDB 数据共享订阅 -- **功能 10** - - <功能描述 （功能是什么 + 能给用户带来什么好处 + 需要用户注意什么）> +- **TiCDC 支持灾备场景下的最终一致性复制** - <功能支持情况，TiDB 默认开启还是关闭此功能，如果默认关闭，如何开启> - - <如果功能限制或此功能特定的兼容性问题，需要提及> + - 在主从灾备架构下，若上游集群遭遇不可恢复的灾难，TiCDC 具备保证下游最终一致性的能力。 [用户文档](/) From b54dad1f14928f6da6378191d4c21d92eebd9c05 Mon Sep 17 00:00:00 2001 From: qiancai Date: Fri, 5 Nov 2021 21:40:30 +0800 Subject: [PATCH 20/78] Update release-5.3.0.md --- releases/release-5.3.0.md | 26 ++++++++++++++++++-------- 1 file changed, 18 insertions(+), 8 deletions(-) diff --git a/releases/release-5.3.0.md b/releases/release-5.3.0.md index feb61d435689..3e119d7aae84 100644 --- a/releases/release-5.3.0.md +++ b/releases/release-5.3.0.md @@ -24,7 +24,8 @@ TiDB 版本：5.3.0 | 变量名 | 修改类型 | 描述 | | :---------- | :----------- | :----------- | -|tidb_enable_noop_functions | 修改 | 此变量不再控制 `CREATE TEMPORARY TABLE` 和 `DROP TEMPORARY TABLE` 行为。 | +|tidb_enable_noop_functions | 修改 | 此变量的控制范围不再包括 `CREATE TEMPORARY TABLE` 和 `DROP TEMPORARY TABLE` 行为。 | +| `tmp_table_size` | 修改 | 更名为 `tidb_tmp_table_size`，不再保留 `tmp_table_size`。升级前global 级别tmp_table_size 有值，升级后需要手动转换为tidb_tmp_table_size。 | | tidb_tmp_table_max_size | 新增 | 此变量用于限制单个[临时表](/temporary-table.md)的最大大小，临时表超出该大小后报错。 | | | | | @@ -32,8 +33,13 @@ TiDB 版本：5.3.0 | 配置文件 | 配置项 | 修改类型 | 描述 | | :---------- | :----------- | :----------- | :----------- | -| | | | -| | | | +| TiDB | | | +| TiKV | storage.reserve-space | 原磁盘占位符 `storage.reserve-space` 会按功能进行拆分，其中的 20% 为磁盘文件用作硬防御，80% 用作软防御，空间回收。 | +| | memory-usage-limit | 以前的版本没有 memory-usage-limit 参数， 升级后改参数值根据 storage.block-cache.capacity来计算 | +| PD | max-snapshot-count | | +| PD | max-pending-peer-count | | +| PD | patrol-region-interval | | +| TiDB | prepared-plan-cache.capacity | Increase default value for prepared-plan-cache.capacity from 100 to 1000 | | | | | ### 其他 @@ -43,11 +49,13 @@ TiDB 版本：5.3.0 - 如果在 v5.3.0 升级前创建了本地临时表，这些临时表实际为普通表，在升级后也会被 TiDB 当成普通表处理。在 v5.3.0 上创建的全局临时表在降级后会被当作普通表处理，导致数据错误。 - TiCDC 和 BR 从 v5.3.0 开始支持[全局临时表](/temporary-table.md#全局临时表)。如果使用 v5.3.0 以下版本同步全局临时表到下游，会导致表定义错误。 - 通过 TiDB 生态工具导入的集群、恢复后的集群、同步的下游集群必须是 TiDB v5.3.0 及以上版本，否则报错。 - - 更多关于临时表兼容性信息，请参考 [临时表与其他功能的兼容性](/temporary-table.md#与其他-tidb-功能的兼容性限制) - -- -- -- + - 关于临时表的更多兼容性信息，请参考 [与 MySQL 临时表的兼容性](/temporary-table.md#与-mysql-临时表的兼容性) 和 [与其他 TiDB 功能的兼容性限制](/temporary-table.md#与其他-tidb-功能的兼容性限制)。 + +- 修正 `SHOW CREATE VIEW` 不需要 `SHOW VIEW` 权限的问题，现在用户必须具备 `SHOW VIEW` 才允许执行 `SHOW CREATE VIEW` 语句。 +- 系统变量 `sql_auto_is_null` 被加入 Noop Funciton 中，当 `tidb_enable_noop_functions = 0/OFF` 时，修改改变量会报错。 +- 不再允许执行 `GRANT ALL ON performance_schema.*` 语法，现在 TiDB 执行该语句会报错。 +- v5.3.0之前，对于新增索引，analyze 时间不受设定时间的限制，tidb_auto_analyze_start_time 和 tidb_auto_analyze_end_time 时间段内将不会出发 auto analyze +- plugin 的默认路径从 "" 改为 /data/deploy/plugin ## 新功能 @@ -178,6 +186,7 @@ TiDB 版本：5.3.0 - **Lightning 支持忽略部分错误行** <能给用户带来什么好处> + - **Sync-diff-inspector 优化** - 大幅提升了对比速度，由原来的 375 MB/s 提升至 700 MB/s @@ -185,6 +194,7 @@ TiDB 版本：5.3.0 - 优化了用户交互界面，在对比过程中可以显示进度 [用户文档](/) + ### TiDB 数据共享订阅 - **TiCDC 支持灾备场景下的最终一致性复制** From 747fb19777a3bb67ed97175509c3ff8d6abe0626 Mon Sep 17 00:00:00 2001 From: qiancai Date: Fri, 5 Nov 2021 21:59:06 +0800 Subject: [PATCH 21/78] add_solve_tikv_disk_full --- releases/release-5.3.0.md | 4 ++++ 1 file changed, 4 insertions(+) diff --git a/releases/release-5.3.0.md b/releases/release-5.3.0.md index 3e119d7aae84..bf9faa3a792e 100644 --- a/releases/release-5.3.0.md +++ b/releases/release-5.3.0.md @@ -244,6 +244,10 @@ TiDB 在遥测中新增收集 <列出本次新增遥测内容>。 + TiKV + - 增强磁盘空间防护能力，提升存储稳定性。 + + 针对 TiKV 遇到磁盘写满错误时可能 Panic 的问题，为磁盘剩余空间引入两级阈值防御机制，避免超额流量耗尽磁盘空间。同时，提供阈值触发时的空间回收能力。当剩余空间触发阈值时，部分写操作会失败，并返回 disk full 错误和盘满节点列表。此时，可以通过 `Drop/Truncate Table` 或者扩容等方式来回收空间，恢复服务。 + - 简化 L0 层流控算法 [#10879](https://github.com/tikv/tikv/issues/10879) - 优化 raft client 错误日志的收集 [#10944](https://github.com/tikv/tikv/pull/10944) - 优化日志线程以避免其成为性能瓶颈 [#10841](https://github.com/tikv/tikv/issues/10841) From 1c65d226edda7f5f8a7eb8188195a3213ac4357f Mon Sep 17 00:00:00 2001 From: qiancai Date: Tue, 9 Nov 2021 09:00:52 +0800 Subject: [PATCH 22/78] Update release-5.3.0.md --- releases/release-5.3.0.md | 59 +++++++++++++++------------------------ 1 file changed, 23 insertions(+), 36 deletions(-) diff --git a/releases/release-5.3.0.md b/releases/release-5.3.0.md index bf9faa3a792e..5a8eb00bf1a9 100644 --- a/releases/release-5.3.0.md +++ b/releases/release-5.3.0.md @@ -34,13 +34,14 @@ TiDB 版本：5.3.0 | 配置文件 | 配置项 | 修改类型 | 描述 | | :---------- | :----------- | :----------- | :----------- | | TiDB | | | +| TiDB | prepared-plan-cache.capacity | Increase default value for prepared-plan-cache.capacity from 100 to 1000 | | TiKV | storage.reserve-space | 原磁盘占位符 `storage.reserve-space` 会按功能进行拆分，其中的 20% 为磁盘文件用作硬防御，80% 用作软防御，空间回收。 | | | memory-usage-limit | 以前的版本没有 memory-usage-limit 参数， 升级后改参数值根据 storage.block-cache.capacity来计算 | -| PD | max-snapshot-count | | -| PD | max-pending-peer-count | | -| PD | patrol-region-interval | | -| TiDB | prepared-plan-cache.capacity | Increase default value for prepared-plan-cache.capacity from 100 to 1000 | -| | | | +| PD | [`log.file.max-days`](/pd-configuration-file.md#max-days) | 修改 | 此配置项用于控制日志保留的最长天数，默认值从 `1` 修改为 `0`。 ｜ +| PD | [`log.file.max-backups`](/pd-configuration-file.md#max-backups) | 修改 | 此配置项用于控制日志文件保留的最大个数，默认值从 `7` 修改为 `0`。 ｜ +| PD | [`patrol-region-interval`](/pd-configuration-file.md#patrol-region-interval) | 修改 |此配置项用于控制 replicaChecker 检查 Region 健康状态的运行频率，越短则运行越快，通常状况不需要调整。默认值从 `100ms` 修改为 `10ms`。 ｜ +| PD | [`max-snapshot-count`](/pd-configuration-file.md#max-snapshot-count) | 修改 |此配置项用于控制单个 store 最多同时接收或发送的 snapshot 数量，调度受制于这个配置来防止抢占正常业务的资源。默认值从 `3` 修改为 `64`。 ｜ +| PD | [`max-pending-peer-count`](/pd-configuration-file.md#max-pending-peer-count) | 修改 |此配置项用于控制单个 store 的 pending peer 上限，调度受制于这个配置来防止在部分节点产生大量日志落后的 Region。默认值从 `16` 修改为 `64`。 ｜ ### 其他 @@ -88,6 +89,12 @@ TiDB 版本：5.3.0 [用户文档](/) +- **支持 `FOR UPDATE OF TABLES` 语法** + + 对于存在多表 join 的语句，支持只对 `OF TABLES` 中包含的表关联的行进行悲观锁加锁操作。 + + [用户文档](/sql-statement-select.md), [#28689](https://github.com/pingcap/tidb/issues/28689) + - **表/分区表属性设置** 增加 ALTER TABLE [PARTITION] ATTRIBUTES 语句支持，允许用户设置表，分区表属性，目前支持 merge_option 属性。通过 merge_option 用户可以显式控制 region 是否合并。 @@ -128,28 +135,16 @@ TiDB 版本：5.3.0 ### 稳定性 -- **支持 Raft 多数副本丢失下的在线恢复能力** +- **支持 Raft 多数副本丢失时数据的在线恢复能力（实验特性）** - 增加 PD-CTL RECOVER-STORE-FAILURE 语句支持，提供在线恢复 TiKV 实例能力。通过该功能，用户可以实现： + 增加 PD-CTL RECOVER-STORE-FAILURE 语句支持，提供在线恢复 TiKV 实例能力。通过该功能，可以实现： - 在线恢复所有 Raft 多数副本丢失的 Region 可读写。 - 保证恢复所有 Region 后没有数据空洞。 - 需要注意的是，Raft 多数失败的情况下无法避免已提交数据的丢失。 - - [用户文档](/) - -### 高可用和容灾 - -- **功能 9** - - <功能描述 （功能是什么 + 能给用户带来什么好处 + 需要用户注意什么）> - - <功能支持情况，TiDB 默认开启还是关闭此功能，如果默认关闭，如何开启> - - <如果功能限制或此功能特定的兼容性问题，需要提及> + 需要注意的是，Raft 多数副本失败的情况下无法避免已提交数据的丢失。 - [用户文档](/) + [用户文档](/online-unsafe-recovery.md), [#10483](https://github.com/tikv/tikv/issues/10483) ### 数据迁移 @@ -169,7 +164,7 @@ TiDB 版本：5.3.0 - 点查更新合并为批量操作（Merge batch updates of multiple rows into one statement） - 异步保存检查点（Async Checkpoint） -- **增加 DM 的 OpenAPI 以更方便地管理集群** +- **增加 DM 的 OpenAPI 以更方便地管理集群（实验特性）** <功能描述 （DM 的 OpenAPI 是什么 + 能给用户带来什么好处 + 需要用户注意什么）> @@ -183,7 +178,7 @@ TiDB 版本：5.3.0 [用户文档](/tidb-lightning-configuration.md) -- **Lightning 支持忽略部分错误行** +- **Lightning 支持忽略部分错误行（实验特性）** <能给用户带来什么好处> @@ -203,18 +198,6 @@ TiDB 版本：5.3.0 [用户文档](/) -### 问题诊断效率 - -- **功能 10** - - <功能描述 （功能是什么 + 能给用户带来什么好处 + 需要用户注意什么）> - - <功能支持情况，TiDB 默认开启还是关闭此功能，如果默认关闭，如何开启> - - <如果功能限制或此功能特定的兼容性问题，需要提及> - - [用户文档](/) - ### 部署及运维 - **持续性能分析（实验特性）** @@ -225,7 +208,7 @@ TiDB 版本：5.3.0 持续性能分析功能必须使用 TiUP 1.7.0 及以上版本升级或安装的集群才可使用。 - [用户文档](/) + [用户文档](/dashboard/continuous-profiling.md) ### 遥测 @@ -233,6 +216,10 @@ TiDB 在遥测中新增收集 <列出本次新增遥测内容>。 若要了解所收集的信息详情及如何禁用该行为，请参见[遥测](/telemetry.md)文档。 +## 移除功能 + +从 TiCDC v5.3.0 版本开始, TiDB 集群之间的环形同步功能（v5.0 实验特性）被移除。 + ## 提升改进 + TiDB From 12137d36a97b8eff7ca7f6fe33a518e4ae2be68b Mon Sep 17 00:00:00 2001 From: qiancai Date: Tue, 9 Nov 2021 13:37:35 +0800 Subject: [PATCH 23/78] add_feature_descriptions --- releases/release-5.3.0.md | 97 ++++++++++++++++++++++++++------------- 1 file changed, 64 insertions(+), 33 deletions(-) diff --git a/releases/release-5.3.0.md b/releases/release-5.3.0.md index 5a8eb00bf1a9..e6680d112f94 100644 --- a/releases/release-5.3.0.md +++ b/releases/release-5.3.0.md @@ -25,6 +25,9 @@ TiDB 版本：5.3.0 | 变量名 | 修改类型 | 描述 | | :---------- | :----------- | :----------- | |tidb_enable_noop_functions | 修改 | 此变量的控制范围不再包括 `CREATE TEMPORARY TABLE` 和 `DROP TEMPORARY TABLE` 行为。 | +| [`tidb_enable_pseudo_for_outdated_stats`](/system-variables.md#tidb_enable_pseudo_for_outdated_stats-从-v530-版本开始引入) | 新增 | 此变量用于控制优化器在一张表上的统计信息过期时的行为。默认值为 `ON`，当表数据被修改的行数大于该表总行数的 80% （该比例可通过 [`pseudo-estimate-ratio`](/tidb-configuration-file.md#pseudo-estimate-ratio) 配置项调整） 时，优化器认为该表上除总行数以外的统计信息不再可靠，转而使用 pseudo 统计信息。将该变量值设为 `OFF` 后，即使统计信息过期，优化器也仍会使用该表上的统计信息。| +|[`tidb_enable_tso_follower_proxy`](/system-variables.md#tidb_enable_tso_follower_proxy-从-v53-版本开始引入) | 新增 | 此变量用于开启或关闭 TSO Follower Proxy 特性。默认值为 `OFF`，代表关闭TSO Follower Proxy 特性。此时，TiDB 仅会从 PD leader 获取 TSO。当开启该特性之后，TiDB 在获取 TSO 时会将请求均匀地发送到所有 PD 节点上，通过 PD follower 转发 TSO 请求，从而降低 PD leader 的 CPU 压力。 | +|[`tidb_tso_client_batch_max_wait_time`](/system-variables.md#tidb_tso_client_batch_max_wait_time-从-v53-版本开始引入) | 新增 | 此变量用于设置 TiDB 向 PD 请求 TSO 时进行一次攒批操作的最大等待时长。默认值为 `0`，即不进行额外的等待。 | | `tmp_table_size` | 修改 | 更名为 `tidb_tmp_table_size`，不再保留 `tmp_table_size`。升级前global 级别tmp_table_size 有值，升级后需要手动转换为tidb_tmp_table_size。 | | tidb_tmp_table_max_size | 新增 | 此变量用于限制单个[临时表](/temporary-table.md)的最大大小，临时表超出该大小后报错。 | | | | | @@ -33,12 +36,12 @@ TiDB 版本：5.3.0 | 配置文件 | 配置项 | 修改类型 | 描述 | | :---------- | :----------- | :----------- | :----------- | -| TiDB | | | -| TiDB | prepared-plan-cache.capacity | Increase default value for prepared-plan-cache.capacity from 100 to 1000 | -| TiKV | storage.reserve-space | 原磁盘占位符 `storage.reserve-space` 会按功能进行拆分，其中的 20% 为磁盘文件用作硬防御，80% 用作软防御，空间回收。 | +| TiDB | [`tidb_tmp_table_max_size`](/system-variables.md#tidb_tmp_table_max_size-从-v53-版本开始引入) | 新增 | 此变量用于限制单个[临时表](/temporary-table.md)的最大大小，临时表超出该大小后报错。｜ +| TiDB | [`prepared-plan-cache.capacity`](/tidb-configuration-file.md#capacity) | 此配置项用于控制缓存语句的数量。默认值从 `100` 修改为 `1000`。 | +| TiKV | [`storage.reserve-space`](/tikv-configuration-file.md#reserve-space）| 此配置项用于控制 TiKV 启动时用于保护磁盘的预留空间。从 v5.3.0 起，预留空间的 80% 用作磁盘空间不足时运维操作所需要的额外磁盘空间，剩余的 20% 为磁盘临时文件。 | | | memory-usage-limit | 以前的版本没有 memory-usage-limit 参数， 升级后改参数值根据 storage.block-cache.capacity来计算 | -| PD | [`log.file.max-days`](/pd-configuration-file.md#max-days) | 修改 | 此配置项用于控制日志保留的最长天数，默认值从 `1` 修改为 `0`。 ｜ -| PD | [`log.file.max-backups`](/pd-configuration-file.md#max-backups) | 修改 | 此配置项用于控制日志文件保留的最大个数，默认值从 `7` 修改为 `0`。 ｜ +| PD | [`log.file.max-days`](/pd-configuration-file.md#max-days) | 修改 | 此配置项用于控制日志保留的最长天数。默认值从 `1` 修改为 `0`。 ｜ +| PD | [`log.file.max-backups`](/pd-configuration-file.md#max-backups) | 修改 | 此配置项用于控制日志文件保留的最大个数。默认值从 `7` 修改为 `0`。｜ | PD | [`patrol-region-interval`](/pd-configuration-file.md#patrol-region-interval) | 修改 |此配置项用于控制 replicaChecker 检查 Region 健康状态的运行频率，越短则运行越快，通常状况不需要调整。默认值从 `100ms` 修改为 `10ms`。 ｜ | PD | [`max-snapshot-count`](/pd-configuration-file.md#max-snapshot-count) | 修改 |此配置项用于控制单个 store 最多同时接收或发送的 snapshot 数量，调度受制于这个配置来防止抢占正常业务的资源。默认值从 `3` 修改为 `64`。 ｜ | PD | [`max-pending-peer-count`](/pd-configuration-file.md#max-pending-peer-count) | 修改 |此配置项用于控制单个 store 的 pending peer 上限，调度受制于这个配置来防止在部分节点产生大量日志落后的 Region。默认值从 `16` 修改为 `64`。 ｜ @@ -97,23 +100,21 @@ TiDB 版本：5.3.0 - **表/分区表属性设置** - 增加 ALTER TABLE [PARTITION] ATTRIBUTES 语句支持，允许用户设置表，分区表属性，目前支持 merge_option 属性。通过 merge_option 用户可以显式控制 region 是否合并。 + 增加 `ALTER TABLE [PARTITION] ATTRIBUTES` 语句支持，允许用户设置表和分区的表属性。目前支持设置 `merge_option` 属性。通过设置 `merge_option` 属性，用户可以显式控制 Region 是否合并。 - 应用场景：用户 SPLIT TABLE 之后不会马上插入数据的情况下，超过一定时间后，空 region 默认会被自动合并。用户可以通过该功能设置表属性为 merge_option=deny，避免 region 的自动合并。 + 应用场景：当用户 `SPLIT TABLE` 之后，如果超过一定时间后没有插入数据，空 Region 默认会被自动合并。此时，可以通过该功能设置表属性为 `merge_option=deny`，避免 Region 的自动合并。 - [用户文档](/) + [用户文档](/table-attributes.md), [#3839](https://github.com/tikv/pd/issues/3839) ### 安全 -- **功能 5** - - <功能描述 （功能是什么 + 能给用户带来什么好处 + 需要用户注意什么）> +- **支持为 TiDB Dashboard 创建最小权限用户** - <功能支持情况，TiDB 默认开启还是关闭此功能，如果默认关闭，如何开启> + TiDB Dashboard 的账号体系与 TiDB SQL 用户一致，并基于 TiDB SQL 用户的权限进行 TiDB Dashboard 授权验证。TiDB Dashboard 所需的权限较少，甚至可以只有只读权限。可以基于最小权限原则配置合适的用户访问 TiDB Dashboard，减少高权限用户的使用场景。 - <如果功能限制或此功能特定的兼容性问题，需要提及> + 建议为访问 TiDB Dashboard 创建一个最小权限的 SQL 用户，并用该用户登录 TiDB Dashboard，避免使用高权限用户，提升安全性。 - [用户文档](/) + [用户文档](/dashboard/dashboard-user.md) ### 性能 @@ -121,18 +122,20 @@ TiDB 版本：5.3.0 优化 TiDB 时间戳处理流程，支持通过开启 PD follower proxy 和调整 PD client 批量请求 TSO 的最大等待时长，降低 PD leader 时间戳处理负载，提升系统整体可扩展性。 - - 支持通过 tidb_enable_tso_follower_proxy 参数设置 PD follower proxy 功能开关。在 PD 时间戳请求负载过高的情况下，通过开启 PD follower proxy，可以将 follower 上请求周期内收集到的 TSO request 批量转发到 leader 节点，有效减少 client 与 leader 的直接交互次数，降低 leader 的负载，提升 TiDB 整体性能。 + - 支持通过 [`tidb_enable_tso_follower_proxy`](/system-variables.md#tidb_enable_tso_follower_proxy-从-v53-版本开始引入) 系统变量设置 PD follower proxy 功能开关。在 PD 时间戳请求负载过高的情况下，通过开启 PD follower proxy，可以将 follower 上请求周期内收集到的 TSO request 批量转发到 leader 节点，有效减少 client 与 leader 的直接交互次数，降低 leader 的负载，提升 TiDB 整体性能。 > **注意：** > > 在 client 数较少的情况下，PD leader 负载不高的情况下，不建议开启 PD follower proxy 功能。 - - 支持通过 tidb_tso_client_batch_max_wait_time 参数设置 PD client 批量请求 TSO 的最大等待时间，单位毫秒。在 PD TSO 请求负载过高的情况下，通过调大该参数，可以提升一次请求 TSO 的数量，降低 PD 负载，提升吞吐。 + - 支持通过 [`tidb_tso_client_batch_max_wait_time`](/system-variables.md#tidb_tso_client_batch_max_wait_time-从-v53-版本开始引入) 系统变量设置 PD client 批量请求 TSO 的最大等待时间，单位毫秒。在 PD TSO 请求负载过高的情况下，通过调大该参数，可以提升一次请求 TSO 的数量，降低 PD 负载，提升吞吐。 > **注意：** > > 在 TSO 请求负载不高的情况下，不建议调整该参数。 + [用户文档](/system-variables.md#tidb_tso_client_batch_max_wait_time-从-v53-版本开始引入), [#3149](https://github.com/tikv/pd/issues/3149) + ### 稳定性 - **支持 Raft 多数副本丢失时数据的在线恢复能力（实验特性）** @@ -148,14 +151,6 @@ TiDB 版本：5.3.0 ### 数据迁移 -- **支持部署多个 TiDB Lightning** - - 新版本 TiDB Lightning 支持用户同时部署多个 Lightning，并行地将单表或者多表数据迁移 TiDB。 该功能无需特别的配置，在不改变用户使用习惯的同时，极大提高了用户的数据迁移能力，助力大数据量业务架构升级，在生产环境使用 TiDB。 - - 在产品性能测试中，使用 x 个 Lightning 导入整体大小 x TB MySQL 分表数据到 TiDB 单表，总耗时 x h，平均单台 Lightning 速度达到 x GB/h。（数据待更新）。此外在 MySQL 分表数据聚合迁移到 TiDB 的场景中，MySQL 分表之间可能有冲突数据（主键/唯一键索引相同的数据），Lightning 也支持了数据导入过程中检查冲突数据的功能，用户可以使用该功能发现冲突数据，然后按照业务规则进行处理，冲突检测使用文档（待更新）。 - - [用户文档](/) - - **提高 DM 复制性能** 支持以下功能，实现以更低的延迟将数据从 MySQL 同步数据到 TiDB。 @@ -166,21 +161,41 @@ TiDB 版本：5.3.0 - **增加 DM 的 OpenAPI 以更方便地管理集群（实验特性）** - <功能描述 （DM 的 OpenAPI 是什么 + 能给用户带来什么好处 + 需要用户注意什么）> + DM 提供 OpenAPI 功能，用户可通过 OpenAPI 对 DM 集群进行查询和运维操作。OpenAPI 的总体功能和 [dmctl 工具](https://docs.pingcap.com/zh/tidb-data-migration/stable/dmctl-introduction)类似。 + + 当前 OpenAPI 功能为实验特性，默认关闭，不建议在生产环境中使用。 + + [用户文档](https://docs.pingcap.com/zh/tidb-data-migration/stable/open-api) + +- **TiDB Lightning 分布式并行导入** + + TiDB Lightning 支持用户同时部署多个 Lightning，并行地将单表或者多表数据迁移 TiDB。 该功能无需特别的配置，在不改变用户使用习惯的同时，极大提高了用户的数据迁移能力，助力大数据量业务架构升级，在生产环境使用 TiDB。 - <功能支持情况，TiDB 默认开启还是关闭此功能，如果默认关闭，如何开启> + 在产品性能测试中，使用 x 个 Lightning 导入整体大小 x TB MySQL 分表数据到 TiDB 单表，总耗时 x h，平均单台 Lightning 速度达到 x GB/h。（数据待更新）。此外在 MySQL 分表数据聚合迁移到 TiDB 的场景中，MySQL 分表之间可能有冲突数据（主键/唯一键索引相同的数据），Lightning 也支持了数据导入过程中检查冲突数据的功能，用户可以使用该功能发现冲突数据，然后按照业务规则进行处理，冲突检测使用文档（待更新）。 - <如果功能限制或此功能特定的兼容性问题，需要提及> + [用户文档](/tidb-lightning/tidb-lightning-distributed-import.md) - [用户文档](/) +- **TiDB Lightning 执行任务前的检查项** + + TiDB Lightning 增加了执行前检查配置的功能。默认开启。该功能会自动进行一些磁盘空间和执行配置的常规检查，主要目的是确保后续的整个导入过程顺利。 + + [用户文档](tidb-lightning/tidb-lightning-prechecks.md) - **Lightning 支持导入 GBK 编码文件** - [用户文档](/tidb-lightning-configuration.md) + [用户文档](/tidb-lightning/tidb-lightning-configuration.md) - **Lightning 支持忽略部分错误行（实验特性）** - <能给用户带来什么好处> + 从 TiDB 5.3.0 开始，你可以配置 TiDB Lightning 以跳过诸如无效类型转换、唯一键冲突等错误，让导入任务持续进行，就如同出现错误的行数据不存在一样。你可以依据生成的报告，手动修复这些错误。该功能适用于以下场景： + + - 要导入的数据有少许错误 + - 手动定位错误比较困难 + - 如果遇到错误就重启 TiDB Lightning，代价太大 + + TiDB Lightning 错误处理功能是实验特性。**不建议**在生产环境中仅依赖该功能处理相关错误。 + + [用户文档](/tidb-lightning/tidb-lightning-error-resolution.md) - **Sync-diff-inspector 优化** @@ -188,15 +203,30 @@ TiDB 版本：5.3.0 - 对比过程中对 TiDB 节点的内存消耗降低近一半 - 优化了用户交互界面，在对比过程中可以显示进度 - [用户文档](/) + [用户文档](/sync-diff-inspector/sync-diff-inspector-overview.md) + +### 问题诊断效率 + +- **保存和恢复集群现场信息** + + 在定位排查 TiDB 集群问题时，用户经常需要提供系统和查询计划相关的信息。为了帮助用户更方便地获取相关信息，更高效地排查集群问题，TiDB 在 v5.3.0 中引入了 `PLAN REPLAYER` 命令，用于“一键”保存和恢复现场问题的相关信息，提升查询计划问题诊断的效率，同时方便将问题归档管理。 + + `PLAN REPLAYER` 主要功能如下： + + - 导出排查现场 TiDB 集群的相关信息，导出为 ZIP 格式的文件用于保存。 + - 在任意 TiDB 集群上导入另一 TiDB 集群现场信息的 ZIP 文件。 + + [用户文档](/sql-plan-replayer.md), [#26325](https://github.com/pingcap/tidb/issues/26325) ### TiDB 数据共享订阅 - **TiCDC 支持灾备场景下的最终一致性复制** - - 在主从灾备架构下，若上游集群遭遇不可恢复的灾难，TiCDC 具备保证下游最终一致性的能力。 + 在主从灾备架构下，当生产集群（即 TiCDC 同步的上游集群）发生灾难、且短时间内无法恢复对外提供服务时，TiCDC 具备保证从集群数据一致性的能力，并允许业务快速的将流量切换至从集群，避免数据库长时间不可用而对业务造成影响。 + + 该功能支持 TiCDC 将 TiDB 集群的增量数据复制到备用关系型数据库 TiDB/Aurora/MySQL/MariaDB，在 TiCDC 正常同步没有延迟的情况下，上游发生灾难后，可以在 30 分钟内将下游集群恢复到上游的某个 snapshot 状态，并且允许丢失的数据小于 5 分钟。即 RPO <= 30min，RTO <= 5min。 - [用户文档](/) + [用户文档](/ticdc/manage-ticdc.md) ### 部署及运维 @@ -251,6 +281,7 @@ TiDB 在遥测中新增收集 <列出本次新增遥测内容>。 + TiFlash - 显著优化了 TableScan 算子的执行效率 + - 优化了 Exchange 算子的执行效率 - 减少了存储引擎的 GC 过程中的写放大和内存使用 - 改进了 TiFlash 重启时的稳定性和可用性，减少了重启结束后短时间内查询可能失败的情况 - 增加支持下推多个新的字符串，时间等函数到 MPP 引擎 From 1581497d1a30e5974920a67cde57f504f973f190 Mon Sep 17 00:00:00 2001 From: qiancai Date: Wed, 10 Nov 2021 11:02:52 +0800 Subject: [PATCH 24/78] Update release-5.3.0.md --- releases/release-5.3.0.md | 45 +++++++++++++++++++-------------------- 1 file changed, 22 insertions(+), 23 deletions(-) diff --git a/releases/release-5.3.0.md b/releases/release-5.3.0.md index e6680d112f94..92cab5f7299a 100644 --- a/releases/release-5.3.0.md +++ b/releases/release-5.3.0.md @@ -24,13 +24,12 @@ TiDB 版本：5.3.0 | 变量名 | 修改类型 | 描述 | | :---------- | :----------- | :----------- | -|tidb_enable_noop_functions | 修改 | 此变量的控制范围不再包括 `CREATE TEMPORARY TABLE` 和 `DROP TEMPORARY TABLE` 行为。 | +| [tidb_enable_noop_functions](/system-variables.md#tidb_enable_noop_functions-从-v40-版本开始引入) | 修改 | 此变量的控制范围不再包括 `CREATE TEMPORARY TABLE` 和 `DROP TEMPORARY TABLE` 行为。 | | [`tidb_enable_pseudo_for_outdated_stats`](/system-variables.md#tidb_enable_pseudo_for_outdated_stats-从-v530-版本开始引入) | 新增 | 此变量用于控制优化器在一张表上的统计信息过期时的行为。默认值为 `ON`，当表数据被修改的行数大于该表总行数的 80% （该比例可通过 [`pseudo-estimate-ratio`](/tidb-configuration-file.md#pseudo-estimate-ratio) 配置项调整） 时，优化器认为该表上除总行数以外的统计信息不再可靠，转而使用 pseudo 统计信息。将该变量值设为 `OFF` 后，即使统计信息过期，优化器也仍会使用该表上的统计信息。| |[`tidb_enable_tso_follower_proxy`](/system-variables.md#tidb_enable_tso_follower_proxy-从-v53-版本开始引入) | 新增 | 此变量用于开启或关闭 TSO Follower Proxy 特性。默认值为 `OFF`，代表关闭TSO Follower Proxy 特性。此时，TiDB 仅会从 PD leader 获取 TSO。当开启该特性之后，TiDB 在获取 TSO 时会将请求均匀地发送到所有 PD 节点上，通过 PD follower 转发 TSO 请求，从而降低 PD leader 的 CPU 压力。 | |[`tidb_tso_client_batch_max_wait_time`](/system-variables.md#tidb_tso_client_batch_max_wait_time-从-v53-版本开始引入) | 新增 | 此变量用于设置 TiDB 向 PD 请求 TSO 时进行一次攒批操作的最大等待时长。默认值为 `0`，即不进行额外的等待。 | -| `tmp_table_size` | 修改 | 更名为 `tidb_tmp_table_size`，不再保留 `tmp_table_size`。升级前global 级别tmp_table_size 有值，升级后需要手动转换为tidb_tmp_table_size。 | -| tidb_tmp_table_max_size | 新增 | 此变量用于限制单个[临时表](/temporary-table.md)的最大大小，临时表超出该大小后报错。 | -| | | | +| [tidb_tmp_table_max_size](/system-variables.md#tidb_tmp_table_max_size-从-v53-版本开始引入) | 新增 | 此变量用于限制单个[临时表](/temporary-table.md)的最大大小，临时表超出该大小后报错。 | +| `tmp_table_size` | 修改 | 更名为 `tidb_tmp_table_size`，不再保留 `tmp_table_size`。升级前 global 级别tmp_table_size 有值，升级后需要手动转换为 tidb_tmp_table_size。 | ### 配置文件参数 @@ -51,7 +50,7 @@ TiDB 版本：5.3.0 - 临时表： - 如果在 v5.3.0 升级前创建了本地临时表，这些临时表实际为普通表，在升级后也会被 TiDB 当成普通表处理。在 v5.3.0 上创建的全局临时表在降级后会被当作普通表处理，导致数据错误。 - - TiCDC 和 BR 从 v5.3.0 开始支持[全局临时表](/temporary-table.md#全局临时表)。如果使用 v5.3.0 以下版本同步全局临时表到下游，会导致表定义错误。 + - TiCDC 和 BR 从 v5.3.0 开始支持[全局临时表](/temporary-table.md#全局临时表)。如果使用 v5.3.0 以下版本同步全局临时表到下游，会导致表定义错误。 - 通过 TiDB 生态工具导入的集群、恢复后的集群、同步的下游集群必须是 TiDB v5.3.0 及以上版本，否则报错。 - 关于临时表的更多兼容性信息，请参考 [与 MySQL 临时表的兼容性](/temporary-table.md#与-mysql-临时表的兼容性) 和 [与其他 TiDB 功能的兼容性限制](/temporary-table.md#与其他-tidb-功能的兼容性限制)。 @@ -90,13 +89,13 @@ TiDB 版本：5.3.0 - 支持重名，用户无需为业务设计复杂的表命名规则。 - 提供会话级别的数据隔离，降低业务设计复杂度，会话结束后删除临时表。 - [用户文档](/) + [用户文档](/) - **支持 `FOR UPDATE OF TABLES` 语法** - 对于存在多表 join 的语句，支持只对 `OF TABLES` 中包含的表关联的行进行悲观锁加锁操作。 + 对于存在多表 join 的语句，支持只对 `OF TABLES` 中包含的表关联的行进行悲观锁加锁操作。 - [用户文档](/sql-statement-select.md), [#28689](https://github.com/pingcap/tidb/issues/28689) + [用户文档](/sql-statement-select.md), [#28689](https://github.com/pingcap/tidb/issues/28689) - **表/分区表属性设置** @@ -114,7 +113,7 @@ TiDB 版本：5.3.0 建议为访问 TiDB Dashboard 创建一个最小权限的 SQL 用户，并用该用户登录 TiDB Dashboard，避免使用高权限用户，提升安全性。 - [用户文档](/dashboard/dashboard-user.md) + [用户文档](/dashboard/dashboard-user.md) ### 性能 @@ -132,9 +131,9 @@ TiDB 版本：5.3.0 > **注意：** > - > 在 TSO 请求负载不高的情况下，不建议调整该参数。 + > 在 TSO 请求负载不高的情况下，不建议调整该参数。 - [用户文档](/system-variables.md#tidb_tso_client_batch_max_wait_time-从-v53-版本开始引入), [#3149](https://github.com/tikv/pd/issues/3149) + [用户文档](/system-variables.md#tidb_tso_client_batch_max_wait_time-从-v53-版本开始引入), [#3149](https://github.com/tikv/pd/issues/3149) ### 稳定性 @@ -164,8 +163,8 @@ TiDB 版本：5.3.0 DM 提供 OpenAPI 功能，用户可通过 OpenAPI 对 DM 集群进行查询和运维操作。OpenAPI 的总体功能和 [dmctl 工具](https://docs.pingcap.com/zh/tidb-data-migration/stable/dmctl-introduction)类似。 当前 OpenAPI 功能为实验特性，默认关闭，不建议在生产环境中使用。 - - [用户文档](https://docs.pingcap.com/zh/tidb-data-migration/stable/open-api) + + [用户文档](https://docs.pingcap.com/zh/tidb-data-migration/stable/open-api) - **TiDB Lightning 分布式并行导入** @@ -173,15 +172,15 @@ TiDB 版本：5.3.0 在产品性能测试中，使用 x 个 Lightning 导入整体大小 x TB MySQL 分表数据到 TiDB 单表，总耗时 x h，平均单台 Lightning 速度达到 x GB/h。（数据待更新）。此外在 MySQL 分表数据聚合迁移到 TiDB 的场景中，MySQL 分表之间可能有冲突数据（主键/唯一键索引相同的数据），Lightning 也支持了数据导入过程中检查冲突数据的功能，用户可以使用该功能发现冲突数据，然后按照业务规则进行处理，冲突检测使用文档（待更新）。 - [用户文档](/tidb-lightning/tidb-lightning-distributed-import.md) + [用户文档](/tidb-lightning/tidb-lightning-distributed-import.md) - **TiDB Lightning 执行任务前的检查项** TiDB Lightning 增加了执行前检查配置的功能。默认开启。该功能会自动进行一些磁盘空间和执行配置的常规检查，主要目的是确保后续的整个导入过程顺利。 - [用户文档](tidb-lightning/tidb-lightning-prechecks.md) + [用户文档](tidb-lightning/tidb-lightning-prechecks.md) -- **Lightning 支持导入 GBK 编码文件** +- **Lightning 支持导入 GBK 编码文件** [用户文档](/tidb-lightning/tidb-lightning-configuration.md) @@ -202,7 +201,7 @@ TiDB 版本：5.3.0 - 大幅提升了对比速度，由原来的 375 MB/s 提升至 700 MB/s - 对比过程中对 TiDB 节点的内存消耗降低近一半 - 优化了用户交互界面，在对比过程中可以显示进度 - + [用户文档](/sync-diff-inspector/sync-diff-inspector-overview.md) ### 问题诊断效率 @@ -226,7 +225,7 @@ TiDB 版本：5.3.0 该功能支持 TiCDC 将 TiDB 集群的增量数据复制到备用关系型数据库 TiDB/Aurora/MySQL/MariaDB，在 TiCDC 正常同步没有延迟的情况下，上游发生灾难后，可以在 30 分钟内将下游集群恢复到上游的某个 snapshot 状态，并且允许丢失的数据小于 5 分钟。即 RPO <= 30min，RTO <= 5min。 - [用户文档](/ticdc/manage-ticdc.md) + [用户文档](/ticdc/manage-ticdc.md) ### 部署及运维 @@ -238,7 +237,7 @@ TiDB 版本：5.3.0 持续性能分析功能必须使用 TiUP 1.7.0 及以上版本升级或安装的集群才可使用。 - [用户文档](/dashboard/continuous-profiling.md) + [用户文档](/dashboard/continuous-profiling.md) ### 遥测 @@ -303,7 +302,7 @@ TiDB 在遥测中新增收集 <列出本次新增遥测内容>。 + TiCDC - 通过修改 Kafka sink 配置项 `MaxMessageBytes` 的默认值，由 64 MB 减小为 1 MB，以修复消息过大会被 Kafka Broker 拒收的问题 [#3104](https://github.com/pingcap/ticdc/pull/3104) - - 减少同步链路中的内存占用 [#2553](https://github.com/pingcap/ticdc/issues/2553)[#3037](https://github.com/pingcap/ticdc/pull/3037) [#2726](https://github.com/pingcap/ticdc/pull/2726) + - 减少同步链路中的内存占用 [#2553](https://github.com/pingcap/ticdc/issues/2553)[#3037](https://github.com/pingcap/ticdc/pull/3037) [#2726](https://github.com/pingcap/ticdc/pull/2726) - 优化监控项和告警规则，提升了同步链路、内存 GC、存量数据扫描过程的可观测性 [#2735](https://github.com/pingcap/ticdc/pull/2735) [#1606](https://github.com/pingcap/ticdc/issues/1606) [#3000](https://github.com/pingcap/ticdc/pull/3000) [#2985](https://github.com/pingcap/ticdc/issues/2985) [#2156](https://github.com/pingcap/ticdc/issues/2156) - 当同步任务状态正常时，不再显示历史错误信息，避免误导用户 [#2242](https://github.com/pingcap/ticdc/issues/2242) @@ -358,7 +357,7 @@ TiDB 在遥测中新增收集 <列出本次新增遥测内容>。 - 修复当一个 snapshot 文件无法被垃圾清理 (GC) 时 snapshot GC 会缺失 GC snapshot 文件的问题 [#10813](https://github.com/tikv/tikv/issues/10813) - 修复当处理 Coprocessor 请求时因超时而导致 panic 的问题 [#10852](https://github.com/tikv/tikv/issues/10852) - 修复因统计线程监控数据导致的内存泄漏 [#11195](https://github.com/tikv/tikv/issues/11195) - - 修复在某些平台获取 cgroup 信息导致 panic 的问题 [#10980](https://github.com/tikv/tikv/pull/10980) + - 修复在某些平台获取 cgroup 信息导致 panic 的问题 [#10980](https://github.com/tikv/tikv/pull/10980) + PD - 修复因超过副本配置数量而导致错误删除带有数据且处于 pending 状态的副本的问题 [#4045](https://github.com/tikv/pd/issues/4045) @@ -378,7 +377,7 @@ TiDB 在遥测中新增收集 <列出本次新增遥测内容>。 - 修复 SQL 语句中含有极长嵌套表达式时可能出现的解析错误 - 修复 Exchange 算子中可能出现的 `Block schema mismatch` 错误 - 修复 Decimal 类型比较时可能出现的 `Can't compare` 错误 - - 修复 `left/substring` 函数中的 `3rd arguments of function substringUTF8 must be constants` 错误 + - 修复 `left/substring` 函数中的 `3rd arguments of function substringUTF8 must be constants` 错误 + Tools @@ -393,7 +392,7 @@ TiDB 在遥测中新增收集 <列出本次新增遥测内容>。 - 修复当扫描存量数据耗时过长时，可能由于 TiKV 进行 GC 而导致存量数据扫描失败的问题 [#2470](https://github.com/pingcap/ticdc/issues/2470) - 修复在将某些类型的列编码为 Open Protocol 格式时，TiCDC 进程可能 panic 的问题 [#2758](https://github.com/pingcap/ticdc/issues/2758) - 修复在将某些类型的列编码为 Avro 格式时，TiCDC 进程可能 panic 的问题 [#2648](https://github.com/pingcap/ticdc/issues/2648) - + + TiDB Binlog - 修复当大部分表被过滤掉时，在某些特殊的负载下，checkpoint 不更新的问题 [#1075](https://github.com/pingcap/tidb-binlog/pull/1075) \ No newline at end of file From 60caaf884ec43f9ea22ba73580efb44fbb63ae56 Mon Sep 17 00:00:00 2001 From: qiancai Date: Wed, 10 Nov 2021 11:26:00 +0800 Subject: [PATCH 25/78] Update release-5.3.0.md --- releases/release-5.3.0.md | 6 +++--- 1 file changed, 3 insertions(+), 3 deletions(-) diff --git a/releases/release-5.3.0.md b/releases/release-5.3.0.md index 92cab5f7299a..9e29a67db54e 100644 --- a/releases/release-5.3.0.md +++ b/releases/release-5.3.0.md @@ -36,9 +36,9 @@ TiDB 版本：5.3.0 | 配置文件 | 配置项 | 修改类型 | 描述 | | :---------- | :----------- | :----------- | :----------- | | TiDB | [`tidb_tmp_table_max_size`](/system-variables.md#tidb_tmp_table_max_size-从-v53-版本开始引入) | 新增 | 此变量用于限制单个[临时表](/temporary-table.md)的最大大小，临时表超出该大小后报错。｜ -| TiDB | [`prepared-plan-cache.capacity`](/tidb-configuration-file.md#capacity) | 此配置项用于控制缓存语句的数量。默认值从 `100` 修改为 `1000`。 | -| TiKV | [`storage.reserve-space`](/tikv-configuration-file.md#reserve-space）| 此配置项用于控制 TiKV 启动时用于保护磁盘的预留空间。从 v5.3.0 起，预留空间的 80% 用作磁盘空间不足时运维操作所需要的额外磁盘空间，剩余的 20% 为磁盘临时文件。 | -| | memory-usage-limit | 以前的版本没有 memory-usage-limit 参数， 升级后改参数值根据 storage.block-cache.capacity来计算 | +| TiDB | [`prepared-plan-cache.capacity`](/tidb-configuration-file.md#capacity) | 修改 | 此配置项用于控制缓存语句的数量。默认值从 `100` 修改为 `1000`。 | +| TiKV | [`storage.reserve-space`](/tikv-configuration-file.md#reserve-space）| 修改 | 此配置项用于控制 TiKV 启动时用于保护磁盘的预留空间。从 v5.3.0 起，预留空间的 80% 用作磁盘空间不足时运维操作所需要的额外磁盘空间，剩余的 20% 为磁盘临时文件。 | +| TiKV | memory-usage-limit | 修改 | 以前的版本没有 memory-usage-limit 参数， 升级后改参数值根据 storage.block-cache.capacity来计算 | | PD | [`log.file.max-days`](/pd-configuration-file.md#max-days) | 修改 | 此配置项用于控制日志保留的最长天数。默认值从 `1` 修改为 `0`。 ｜ | PD | [`log.file.max-backups`](/pd-configuration-file.md#max-backups) | 修改 | 此配置项用于控制日志文件保留的最大个数。默认值从 `7` 修改为 `0`。｜ | PD | [`patrol-region-interval`](/pd-configuration-file.md#patrol-region-interval) | 修改 |此配置项用于控制 replicaChecker 检查 Region 健康状态的运行频率，越短则运行越快，通常状况不需要调整。默认值从 `100ms` 修改为 `10ms`。 ｜ From 348402720943fb8b1a01aa4972c495739fa31739 Mon Sep 17 00:00:00 2001 From: qiancai Date: Wed, 10 Nov 2021 11:27:58 +0800 Subject: [PATCH 26/78] Update release-5.3.0.md --- releases/release-5.3.0.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/releases/release-5.3.0.md b/releases/release-5.3.0.md index 9e29a67db54e..dd6c1700395f 100644 --- a/releases/release-5.3.0.md +++ b/releases/release-5.3.0.md @@ -37,7 +37,7 @@ TiDB 版本：5.3.0 | :---------- | :----------- | :----------- | :----------- | | TiDB | [`tidb_tmp_table_max_size`](/system-variables.md#tidb_tmp_table_max_size-从-v53-版本开始引入) | 新增 | 此变量用于限制单个[临时表](/temporary-table.md)的最大大小，临时表超出该大小后报错。｜ | TiDB | [`prepared-plan-cache.capacity`](/tidb-configuration-file.md#capacity) | 修改 | 此配置项用于控制缓存语句的数量。默认值从 `100` 修改为 `1000`。 | -| TiKV | [`storage.reserve-space`](/tikv-configuration-file.md#reserve-space）| 修改 | 此配置项用于控制 TiKV 启动时用于保护磁盘的预留空间。从 v5.3.0 起，预留空间的 80% 用作磁盘空间不足时运维操作所需要的额外磁盘空间，剩余的 20% 为磁盘临时文件。 | +| TiKV | [`storage.reserve-space`](/tikv-configuration-file.md#reserve-space) | 修改 | 此配置项用于控制 TiKV 启动时用于保护磁盘的预留空间。从 v5.3.0 起，预留空间的 80% 用作磁盘空间不足时运维操作所需要的额外磁盘空间，剩余的 20% 为磁盘临时文件。 | | TiKV | memory-usage-limit | 修改 | 以前的版本没有 memory-usage-limit 参数， 升级后改参数值根据 storage.block-cache.capacity来计算 | | PD | [`log.file.max-days`](/pd-configuration-file.md#max-days) | 修改 | 此配置项用于控制日志保留的最长天数。默认值从 `1` 修改为 `0`。 ｜ | PD | [`log.file.max-backups`](/pd-configuration-file.md#max-backups) | 修改 | 此配置项用于控制日志文件保留的最大个数。默认值从 `7` 修改为 `0`。｜ From 44af82d909c3fe8bbf09d275f8c403e55617bcd0 Mon Sep 17 00:00:00 2001 From: qiancai Date: Wed, 10 Nov 2021 11:32:10 +0800 Subject: [PATCH 27/78] Update release-5.3.0.md --- releases/release-5.3.0.md | 16 ++++++++-------- 1 file changed, 8 insertions(+), 8 deletions(-) diff --git a/releases/release-5.3.0.md b/releases/release-5.3.0.md index dd6c1700395f..a0a1260d5040 100644 --- a/releases/release-5.3.0.md +++ b/releases/release-5.3.0.md @@ -35,15 +35,15 @@ TiDB 版本：5.3.0 | 配置文件 | 配置项 | 修改类型 | 描述 | | :---------- | :----------- | :----------- | :----------- | -| TiDB | [`tidb_tmp_table_max_size`](/system-variables.md#tidb_tmp_table_max_size-从-v53-版本开始引入) | 新增 | 此变量用于限制单个[临时表](/temporary-table.md)的最大大小，临时表超出该大小后报错。｜ +| TiDB | [`tidb_tmp_table_max_size`](/system-variables.md#tidb_tmp_table_max_size-从-v53-版本开始引入) | 新增 | 此变量用于限制单个[临时表](/temporary-table.md)的最大大小，临时表超出该大小后报错。 | | TiDB | [`prepared-plan-cache.capacity`](/tidb-configuration-file.md#capacity) | 修改 | 此配置项用于控制缓存语句的数量。默认值从 `100` 修改为 `1000`。 | | TiKV | [`storage.reserve-space`](/tikv-configuration-file.md#reserve-space) | 修改 | 此配置项用于控制 TiKV 启动时用于保护磁盘的预留空间。从 v5.3.0 起，预留空间的 80% 用作磁盘空间不足时运维操作所需要的额外磁盘空间，剩余的 20% 为磁盘临时文件。 | -| TiKV | memory-usage-limit | 修改 | 以前的版本没有 memory-usage-limit 参数， 升级后改参数值根据 storage.block-cache.capacity来计算 | -| PD | [`log.file.max-days`](/pd-configuration-file.md#max-days) | 修改 | 此配置项用于控制日志保留的最长天数。默认值从 `1` 修改为 `0`。 ｜ -| PD | [`log.file.max-backups`](/pd-configuration-file.md#max-backups) | 修改 | 此配置项用于控制日志文件保留的最大个数。默认值从 `7` 修改为 `0`。｜ -| PD | [`patrol-region-interval`](/pd-configuration-file.md#patrol-region-interval) | 修改 |此配置项用于控制 replicaChecker 检查 Region 健康状态的运行频率，越短则运行越快，通常状况不需要调整。默认值从 `100ms` 修改为 `10ms`。 ｜ -| PD | [`max-snapshot-count`](/pd-configuration-file.md#max-snapshot-count) | 修改 |此配置项用于控制单个 store 最多同时接收或发送的 snapshot 数量，调度受制于这个配置来防止抢占正常业务的资源。默认值从 `3` 修改为 `64`。 ｜ -| PD | [`max-pending-peer-count`](/pd-configuration-file.md#max-pending-peer-count) | 修改 |此配置项用于控制单个 store 的 pending peer 上限，调度受制于这个配置来防止在部分节点产生大量日志落后的 Region。默认值从 `16` 修改为 `64`。 ｜ +| TiKV | memory-usage-limit | 修改 | 以前的版本没有 memory-usage-limit 参数， 升级后改参数值根据 storage.block-cache.capacity来计算。 | +| PD | [`log.file.max-days`](/pd-configuration-file.md#max-days) | 修改 | 此配置项用于控制日志保留的最长天数。默认值从 `1` 修改为 `0`。 | +| PD | [`log.file.max-backups`](/pd-configuration-file.md#max-backups) | 修改 | 此配置项用于控制日志文件保留的最大个数。默认值从 `7` 修改为 `0`。 | +| PD | [`patrol-region-interval`](/pd-configuration-file.md#patrol-region-interval) | 修改 |此配置项用于控制 replicaChecker 检查 Region 健康状态的运行频率，越短则运行越快，通常状况不需要调整。默认值从 `100ms` 修改为 `10ms`。 | +| PD | [`max-snapshot-count`](/pd-configuration-file.md#max-snapshot-count) | 修改 |此配置项用于控制单个 store 最多同时接收或发送的 snapshot 数量，调度受制于这个配置来防止抢占正常业务的资源。默认值从 `3` 修改为 `64`。 | +| PD | [`max-pending-peer-count`](/pd-configuration-file.md#max-pending-peer-count) | 修改 |此配置项用于控制单个 store 的 pending peer 上限，调度受制于这个配置来防止在部分节点产生大量日志落后的 Region。默认值从 `16` 修改为 `64`。 | ### 其他 @@ -146,7 +146,7 @@ TiDB 版本：5.3.0 需要注意的是，Raft 多数副本失败的情况下无法避免已提交数据的丢失。 - [用户文档](/online-unsafe-recovery.md), [#10483](https://github.com/tikv/tikv/issues/10483) + [用户文档](/online-unsafe-recovery.md), [#10483](https://github.com/tikv/tikv/issues/10483) ### 数据迁移 From d92c7b5509425be2de47cea19c129150f2d598cd Mon Sep 17 00:00:00 2001 From: qiancai Date: Wed, 10 Nov 2021 11:37:31 +0800 Subject: [PATCH 28/78] Update release-5.3.0.md --- releases/release-5.3.0.md | 4 ++-- 1 file changed, 2 insertions(+), 2 deletions(-) diff --git a/releases/release-5.3.0.md b/releases/release-5.3.0.md index a0a1260d5040..08e93d4cbf50 100644 --- a/releases/release-5.3.0.md +++ b/releases/release-5.3.0.md @@ -75,7 +75,7 @@ TiDB 版本：5.3.0 - 把热点数据的 leader 放到高性能的 TiKV 实例上 - 将不相关的数据分离到不同的存储中以提高可用性 - [用户文档](/) + [用户文档](/information-schema/information-schema-placement-rules.md), [#18030](https://github.com/pingcap/tidb/issues/18030) - **临时表** @@ -89,7 +89,7 @@ TiDB 版本：5.3.0 - 支持重名，用户无需为业务设计复杂的表命名规则。 - 提供会话级别的数据隔离，降低业务设计复杂度，会话结束后删除临时表。 - [用户文档](/) + [用户文档](/temporary-table.md), [#24169](https://github.com/pingcap/tidb/issues/24169) - **支持 `FOR UPDATE OF TABLES` 语法** From 31c4c03406b933724ad9ddec20907719fb7bad0f Mon Sep 17 00:00:00 2001 From: Grace Cai Date: Wed, 10 Nov 2021 11:38:26 +0800 Subject: [PATCH 29/78] Apply suggestions from code review Co-authored-by: Ryan Leung --- releases/release-5.3.0.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/releases/release-5.3.0.md b/releases/release-5.3.0.md index 08e93d4cbf50..a7dccd6052e0 100644 --- a/releases/release-5.3.0.md +++ b/releases/release-5.3.0.md @@ -97,7 +97,7 @@ TiDB 版本：5.3.0 [用户文档](/sql-statement-select.md), [#28689](https://github.com/pingcap/tidb/issues/28689) -- **表/分区表属性设置** +- **表属性设置** 增加 `ALTER TABLE [PARTITION] ATTRIBUTES` 语句支持，允许用户设置表和分区的表属性。目前支持设置 `merge_option` 属性。通过设置 `merge_option` 属性，用户可以显式控制 Region 是否合并。 From 05d77e7bb317e09c3f543034d6cf44d35eac8fd0 Mon Sep 17 00:00:00 2001 From: qiancai Date: Wed, 10 Nov 2021 11:51:42 +0800 Subject: [PATCH 30/78] Update release-5.3.0.md --- releases/release-5.3.0.md | 12 +++++++++--- 1 file changed, 9 insertions(+), 3 deletions(-) diff --git a/releases/release-5.3.0.md b/releases/release-5.3.0.md index 08e93d4cbf50..6e861e0b3fdf 100644 --- a/releases/release-5.3.0.md +++ b/releases/release-5.3.0.md @@ -10,9 +10,15 @@ TiDB 版本：5.3.0 在 5.3 版本中，你可以获得以下关键特性： -+ -+ -+ ++ 引入临时表，简化业务逻辑并提升性能 ++ 支持设置表和分区的表属性 ++ 支持为 TiDB Dashboard 创建最小权限用户，提高系统安全性 ++ 优化 TiDB 时间戳处理流程，提升系统的整体性能 ++ 提高 DM 复制性能，实现以更低的延迟将数据从 MySQL 同步数据到 TiDB ++ 支持 TiDB Lightning 分布式并行导入，提升全量数据迁移效率 ++ 支持“一键”保存和恢复现场问题的相关信息，提升查询计划问题诊断的效率 ++ 支持持续性能分析 (Continuous Profiling) 实验特性，提高数据库性能的可观测性 ++ 持续优化存储和计算引擎 ## 兼容性变化 From e942dc45b140798fbf94f00eae119ee70ff87480 Mon Sep 17 00:00:00 2001 From: qiancai Date: Wed, 10 Nov 2021 11:56:14 +0800 Subject: [PATCH 31/78] Update release-5.3.0.md --- releases/release-5.3.0.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/releases/release-5.3.0.md b/releases/release-5.3.0.md index d32ae25df45b..85931789bc72 100644 --- a/releases/release-5.3.0.md +++ b/releases/release-5.3.0.md @@ -101,7 +101,7 @@ TiDB 版本：5.3.0 对于存在多表 join 的语句，支持只对 `OF TABLES` 中包含的表关联的行进行悲观锁加锁操作。 - [用户文档](/sql-statement-select.md), [#28689](https://github.com/pingcap/tidb/issues/28689) + [用户文档](/sql-statements/sql-statement-select.md), [#28689](https://github.com/pingcap/tidb/issues/28689) - **表属性设置** From cc48664d002f03542b34b53e188a2ad1c2fbc0ea Mon Sep 17 00:00:00 2001 From: qiancai Date: Wed, 10 Nov 2021 11:59:17 +0800 Subject: [PATCH 32/78] Update release-5.3.0.md --- releases/release-5.3.0.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/releases/release-5.3.0.md b/releases/release-5.3.0.md index 85931789bc72..20cd79043fe9 100644 --- a/releases/release-5.3.0.md +++ b/releases/release-5.3.0.md @@ -63,7 +63,7 @@ TiDB 版本：5.3.0 - 修正 `SHOW CREATE VIEW` 不需要 `SHOW VIEW` 权限的问题，现在用户必须具备 `SHOW VIEW` 才允许执行 `SHOW CREATE VIEW` 语句。 - 系统变量 `sql_auto_is_null` 被加入 Noop Funciton 中，当 `tidb_enable_noop_functions = 0/OFF` 时，修改改变量会报错。 - 不再允许执行 `GRANT ALL ON performance_schema.*` 语法，现在 TiDB 执行该语句会报错。 -- v5.3.0之前，对于新增索引，analyze 时间不受设定时间的限制，tidb_auto_analyze_start_time 和 tidb_auto_analyze_end_time 时间段内将不会出发 auto analyze +- v5.3.0 之前，对于新增索引，analyze 时间不受设定时间的限制，`tidb_auto_analyze_start_time` 和 `tidb_auto_analyze_end_time` 时间段内将不会触发 auto analyze - plugin 的默认路径从 "" 改为 /data/deploy/plugin ## 新功能 From fad4fd4e1515675c46ea58e9fe6324ada255adf3 Mon Sep 17 00:00:00 2001 From: Grace Cai Date: Wed, 10 Nov 2021 12:17:41 +0800 Subject: [PATCH 33/78] Update releases/release-5.3.0.md Co-authored-by: Flowyi --- releases/release-5.3.0.md | 1 + 1 file changed, 1 insertion(+) diff --git a/releases/release-5.3.0.md b/releases/release-5.3.0.md index 20cd79043fe9..62e77de0ae65 100644 --- a/releases/release-5.3.0.md +++ b/releases/release-5.3.0.md @@ -375,6 +375,7 @@ TiDB 在遥测中新增收集 <列出本次新增遥测内容>。 + TiFlash + - 修复 TiFlash Store Size 统计结果不准确的问题 - 修复 TiFlash 在部分平台上由于缺失 `nsl` 库而无法启动的问题 - 阻止 wait index 无限等待，防止写入压力较重时 TiFlash 长时间等待数据同步而无法提供服务的问题（新增默认超时为5分钟） - 解决了当日志体量很大时，用户搜索日志很慢或搜索不出的问题 From c52299b1b78abaf76ec115a50e11d7ff1b5182e2 Mon Sep 17 00:00:00 2001 From: TomShawn <41534398+TomShawn@users.noreply.github.com> Date: Wed, 10 Nov 2021 14:01:51 +0800 Subject: [PATCH 34/78] Apply suggestions from code review --- releases/release-5.3.0.md | 22 +++++++++++----------- 1 file changed, 11 insertions(+), 11 deletions(-) diff --git a/releases/release-5.3.0.md b/releases/release-5.3.0.md index 62e77de0ae65..12561f7c86ab 100644 --- a/releases/release-5.3.0.md +++ b/releases/release-5.3.0.md @@ -58,11 +58,11 @@ TiDB 版本：5.3.0 - 如果在 v5.3.0 升级前创建了本地临时表，这些临时表实际为普通表，在升级后也会被 TiDB 当成普通表处理。在 v5.3.0 上创建的全局临时表在降级后会被当作普通表处理，导致数据错误。 - TiCDC 和 BR 从 v5.3.0 开始支持[全局临时表](/temporary-table.md#全局临时表)。如果使用 v5.3.0 以下版本同步全局临时表到下游，会导致表定义错误。 - 通过 TiDB 生态工具导入的集群、恢复后的集群、同步的下游集群必须是 TiDB v5.3.0 及以上版本，否则报错。 - - 关于临时表的更多兼容性信息，请参考 [与 MySQL 临时表的兼容性](/temporary-table.md#与-mysql-临时表的兼容性) 和 [与其他 TiDB 功能的兼容性限制](/temporary-table.md#与其他-tidb-功能的兼容性限制)。 + - 关于临时表的更多兼容性信息，请参考 [与 MySQL 临时表的兼容性](/temporary-table.md#与-mysql-临时表的兼容性)和[与其他 TiDB 功能的兼容性限制](/temporary-table.md#与其他-tidb-功能的兼容性限制)。 -- 修正 `SHOW CREATE VIEW` 不需要 `SHOW VIEW` 权限的问题，现在用户必须具备 `SHOW VIEW` 才允许执行 `SHOW CREATE VIEW` 语句。 +- 修正 `SHOW CREATE VIEW` 不需要 `SHOW VIEW` 权限的问题，现在用户必须具有 `SHOW VIEW` 权限才允许执行 `SHOW CREATE VIEW` 语句。 - 系统变量 `sql_auto_is_null` 被加入 Noop Funciton 中，当 `tidb_enable_noop_functions = 0/OFF` 时，修改改变量会报错。 -- 不再允许执行 `GRANT ALL ON performance_schema.*` 语法，现在 TiDB 执行该语句会报错。 +- 不再允许执行 `GRANT ALL ON performance_schema.*` 语法，在 TiDB 上执行该语句会报错。 - v5.3.0 之前，对于新增索引，analyze 时间不受设定时间的限制，`tidb_auto_analyze_start_time` 和 `tidb_auto_analyze_end_time` 时间段内将不会触发 auto analyze - plugin 的默认路径从 "" 改为 /data/deploy/plugin @@ -70,22 +70,22 @@ TiDB 版本：5.3.0 ### SQL -- **SQL 接口设置数据放置规则（实验特性）** +- **使用 SQL 接口设置数据放置规则（实验特性）** - 增加 `[CREATE | ALTER] PLACEMENT POLICY` 语句支持，提供 SQL 接口设置数据放置规则。通过该功能，用户可以指定任意连续数据按照不同地域，机房，机柜，主机，硬件，副本数规则进行部署，满足低成本，高可用，灵活多变的业务诉求。该功能可以实现以下业务场景： + 新增对 `[CREATE | ALTER] PLACEMENT POLICY` 语句的支持，提供 SQL 接口设置数据放置规则。通过该功能，用户可以指定任意连续数据按照不同地域、机房、机柜、主机、硬件、副本数规则进行部署，满足低成本、高可用、灵活多变的业务诉求。该功能可以实现以下业务场景： - 跨区域放置数据以改善局部访问性能 - - 多业务数据库合并，降低大量数据库的常规运维管理成本，并通过规则配置实现业务资源隔离 - - 增加更重要数据的副本数，提高业务可用性，数据可靠性 + - 合并多个不同业务的数据库，大幅减少数据库常规运维管理的成本，并通过规则配置实现业务资源隔离 + - 增加重要数据的副本数，提高业务可用性和数据可靠性 - 将最新数据存入 SSD，历史数据存入 HDD，降低归档数据存储成本 - 把热点数据的 leader 放到高性能的 TiKV 实例上 - 将不相关的数据分离到不同的存储中以提高可用性 - [用户文档](/information-schema/information-schema-placement-rules.md), [#18030](https://github.com/pingcap/tidb/issues/18030) + [用户文档](/information-schema/information-schema-placement-rules.md)，[#18030](https://github.com/pingcap/tidb/issues/18030) - **临时表** - 增加 CREATE [GLOBAL] TEMPORARY TABLE 语句支持，支持创建临时表，方便业务管理中间计算的临时数据。临时表中的数据均保存在内存中，用户可通过 tidb_tmp_table_max_size 变量限制临时表的内存大小。TiDB 支持以下两种临时表： + 新增对 `CREATE [GLOBAL] TEMPORARY TABLE` 语句的支持。支持创建临时表，方便管理业务中间计算的临时数据。临时表中的数据均保存在内存中，用户可通过 `tidb_tmp_table_max_size` 变量限制临时表的内存大小。TiDB 支持以下两种临时表： - Global 临时表 - 对集群内所有 session 可见，表结构持久化。 @@ -95,7 +95,7 @@ TiDB 版本：5.3.0 - 支持重名，用户无需为业务设计复杂的表命名规则。 - 提供会话级别的数据隔离，降低业务设计复杂度，会话结束后删除临时表。 - [用户文档](/temporary-table.md), [#24169](https://github.com/pingcap/tidb/issues/24169) + [用户文档](/temporary-table.md)，[#24169](https://github.com/pingcap/tidb/issues/24169) - **支持 `FOR UPDATE OF TABLES` 语法** @@ -221,7 +221,7 @@ TiDB 版本：5.3.0 - 导出排查现场 TiDB 集群的相关信息，导出为 ZIP 格式的文件用于保存。 - 在任意 TiDB 集群上导入另一 TiDB 集群现场信息的 ZIP 文件。 - [用户文档](/sql-plan-replayer.md), [#26325](https://github.com/pingcap/tidb/issues/26325) + [用户文档](/sql-plan-replayer.md)，[#26325](https://github.com/pingcap/tidb/issues/26325) ### TiDB 数据共享订阅 From 48093d8930a1b230814113fdcfd2778c26349b72 Mon Sep 17 00:00:00 2001 From: Grace Cai Date: Thu, 11 Nov 2021 14:04:21 +0800 Subject: [PATCH 35/78] Apply suggestions from code review Co-authored-by: xixirangrang Co-authored-by: TomShawn <41534398+TomShawn@users.noreply.github.com> --- releases/release-5.3.0.md | 6 +++--- 1 file changed, 3 insertions(+), 3 deletions(-) diff --git a/releases/release-5.3.0.md b/releases/release-5.3.0.md index 12561f7c86ab..1ba88c3155fb 100644 --- a/releases/release-5.3.0.md +++ b/releases/release-5.3.0.md @@ -174,7 +174,7 @@ TiDB 版本：5.3.0 - **TiDB Lightning 分布式并行导入** - TiDB Lightning 支持用户同时部署多个 Lightning，并行地将单表或者多表数据迁移 TiDB。 该功能无需特别的配置，在不改变用户使用习惯的同时，极大提高了用户的数据迁移能力，助力大数据量业务架构升级，在生产环境使用 TiDB。 + TiDB Lightning 支持用户同时部署多个 Lightning，并行地将单表或者多表数据迁移 TiDB。该功能无需特别的配置，在不改变用户使用习惯的同时，极大提高了用户的数据迁移能力，助力大数据量业务架构升级，在生产环境使用 TiDB。 在产品性能测试中，使用 x 个 Lightning 导入整体大小 x TB MySQL 分表数据到 TiDB 单表，总耗时 x h，平均单台 Lightning 速度达到 x GB/h。（数据待更新）。此外在 MySQL 分表数据聚合迁移到 TiDB 的场景中，MySQL 分表之间可能有冲突数据（主键/唯一键索引相同的数据），Lightning 也支持了数据导入过程中检查冲突数据的功能，用户可以使用该功能发现冲突数据，然后按照业务规则进行处理，冲突检测使用文档（待更新）。 @@ -186,11 +186,11 @@ TiDB 版本：5.3.0 [用户文档](tidb-lightning/tidb-lightning-prechecks.md) -- **Lightning 支持导入 GBK 编码文件** +- **TiDB Lightning 支持导入 GBK 编码的文件** [用户文档](/tidb-lightning/tidb-lightning-configuration.md) -- **Lightning 支持忽略部分错误行（实验特性）** +- **TiDB Lightning 支持忽略部分错误行（实验特性）** 从 TiDB 5.3.0 开始，你可以配置 TiDB Lightning 以跳过诸如无效类型转换、唯一键冲突等错误，让导入任务持续进行，就如同出现错误的行数据不存在一样。你可以依据生成的报告，手动修复这些错误。该功能适用于以下场景： From 937f79236afc83a11795f9e1623d1dd114ba72ce Mon Sep 17 00:00:00 2001 From: Grace Cai Date: Thu, 11 Nov 2021 14:10:56 +0800 Subject: [PATCH 36/78] Apply suggestions from code review Co-authored-by: djshow832 --- releases/release-5.3.0.md | 1 - 1 file changed, 1 deletion(-) diff --git a/releases/release-5.3.0.md b/releases/release-5.3.0.md index 1ba88c3155fb..2f691b92f980 100644 --- a/releases/release-5.3.0.md +++ b/releases/release-5.3.0.md @@ -41,7 +41,6 @@ TiDB 版本：5.3.0 | 配置文件 | 配置项 | 修改类型 | 描述 | | :---------- | :----------- | :----------- | :----------- | -| TiDB | [`tidb_tmp_table_max_size`](/system-variables.md#tidb_tmp_table_max_size-从-v53-版本开始引入) | 新增 | 此变量用于限制单个[临时表](/temporary-table.md)的最大大小，临时表超出该大小后报错。 | | TiDB | [`prepared-plan-cache.capacity`](/tidb-configuration-file.md#capacity) | 修改 | 此配置项用于控制缓存语句的数量。默认值从 `100` 修改为 `1000`。 | | TiKV | [`storage.reserve-space`](/tikv-configuration-file.md#reserve-space) | 修改 | 此配置项用于控制 TiKV 启动时用于保护磁盘的预留空间。从 v5.3.0 起，预留空间的 80% 用作磁盘空间不足时运维操作所需要的额外磁盘空间，剩余的 20% 为磁盘临时文件。 | | TiKV | memory-usage-limit | 修改 | 以前的版本没有 memory-usage-limit 参数， 升级后改参数值根据 storage.block-cache.capacity来计算。 | From eed8062ed084545421edd9734064450869ee02ed Mon Sep 17 00:00:00 2001 From: qiancai Date: Thu, 11 Nov 2021 14:12:30 +0800 Subject: [PATCH 37/78] Update release-5.3.0.md --- releases/release-5.3.0.md | 1 - 1 file changed, 1 deletion(-) diff --git a/releases/release-5.3.0.md b/releases/release-5.3.0.md index 2f691b92f980..10caefce1920 100644 --- a/releases/release-5.3.0.md +++ b/releases/release-5.3.0.md @@ -35,7 +35,6 @@ TiDB 版本：5.3.0 |[`tidb_enable_tso_follower_proxy`](/system-variables.md#tidb_enable_tso_follower_proxy-从-v53-版本开始引入) | 新增 | 此变量用于开启或关闭 TSO Follower Proxy 特性。默认值为 `OFF`，代表关闭TSO Follower Proxy 特性。此时，TiDB 仅会从 PD leader 获取 TSO。当开启该特性之后，TiDB 在获取 TSO 时会将请求均匀地发送到所有 PD 节点上，通过 PD follower 转发 TSO 请求，从而降低 PD leader 的 CPU 压力。 | |[`tidb_tso_client_batch_max_wait_time`](/system-variables.md#tidb_tso_client_batch_max_wait_time-从-v53-版本开始引入) | 新增 | 此变量用于设置 TiDB 向 PD 请求 TSO 时进行一次攒批操作的最大等待时长。默认值为 `0`，即不进行额外的等待。 | | [tidb_tmp_table_max_size](/system-variables.md#tidb_tmp_table_max_size-从-v53-版本开始引入) | 新增 | 此变量用于限制单个[临时表](/temporary-table.md)的最大大小，临时表超出该大小后报错。 | -| `tmp_table_size` | 修改 | 更名为 `tidb_tmp_table_size`，不再保留 `tmp_table_size`。升级前 global 级别tmp_table_size 有值，升级后需要手动转换为 tidb_tmp_table_size。 | ### 配置文件参数 From c63c8266b1f86939f5274ea57cb72ea9a527e779 Mon Sep 17 00:00:00 2001 From: qiancai Date: Thu, 11 Nov 2021 14:17:12 +0800 Subject: [PATCH 38/78] Update release-5.3.0.md --- releases/release-5.3.0.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/releases/release-5.3.0.md b/releases/release-5.3.0.md index 10caefce1920..d9d77589a467 100644 --- a/releases/release-5.3.0.md +++ b/releases/release-5.3.0.md @@ -18,7 +18,7 @@ TiDB 版本：5.3.0 + 支持 TiDB Lightning 分布式并行导入，提升全量数据迁移效率 + 支持“一键”保存和恢复现场问题的相关信息，提升查询计划问题诊断的效率 + 支持持续性能分析 (Continuous Profiling) 实验特性，提高数据库性能的可观测性 -+ 持续优化存储和计算引擎 ++ 持续优化存储和计算引擎，提升系统性能和稳定性 ## 兼容性变化 From e856d84628244c12343c2230fedb3114e1762fb2 Mon Sep 17 00:00:00 2001 From: qiancai Date: Thu, 11 Nov 2021 14:17:41 +0800 Subject: [PATCH 39/78] Update release-5.3.0.md --- releases/release-5.3.0.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/releases/release-5.3.0.md b/releases/release-5.3.0.md index d9d77589a467..dcaa932acb8e 100644 --- a/releases/release-5.3.0.md +++ b/releases/release-5.3.0.md @@ -4,7 +4,7 @@ title: TiDB 5.3 Release Notes # TiDB 5.3 Release Notes -发版日期：2021 年 11 月 16 日 +发版日期：2021 年 11 月 23 日 TiDB 版本：5.3.0 From 6fdb23e064e93d66a40e11fd0a4604238b8be74b Mon Sep 17 00:00:00 2001 From: Grace Cai Date: Thu, 11 Nov 2021 15:11:03 +0800 Subject: [PATCH 40/78] Apply suggestions from code review Co-authored-by: djshow832 --- releases/release-5.3.0.md | 4 ++-- 1 file changed, 2 insertions(+), 2 deletions(-) diff --git a/releases/release-5.3.0.md b/releases/release-5.3.0.md index dcaa932acb8e..16c64d6882dc 100644 --- a/releases/release-5.3.0.md +++ b/releases/release-5.3.0.md @@ -55,11 +55,11 @@ TiDB 版本：5.3.0 - 如果在 v5.3.0 升级前创建了本地临时表，这些临时表实际为普通表，在升级后也会被 TiDB 当成普通表处理。在 v5.3.0 上创建的全局临时表在降级后会被当作普通表处理，导致数据错误。 - TiCDC 和 BR 从 v5.3.0 开始支持[全局临时表](/temporary-table.md#全局临时表)。如果使用 v5.3.0 以下版本同步全局临时表到下游，会导致表定义错误。 - - 通过 TiDB 生态工具导入的集群、恢复后的集群、同步的下游集群必须是 TiDB v5.3.0 及以上版本，否则报错。 + - 通过 TiDB 生态工具导入的集群、恢复后的集群、同步的下游集群必须是 TiDB v5.3.0 及以上版本，否则创建全局临时表时报错。 - 关于临时表的更多兼容性信息，请参考 [与 MySQL 临时表的兼容性](/temporary-table.md#与-mysql-临时表的兼容性)和[与其他 TiDB 功能的兼容性限制](/temporary-table.md#与其他-tidb-功能的兼容性限制)。 - 修正 `SHOW CREATE VIEW` 不需要 `SHOW VIEW` 权限的问题，现在用户必须具有 `SHOW VIEW` 权限才允许执行 `SHOW CREATE VIEW` 语句。 -- 系统变量 `sql_auto_is_null` 被加入 Noop Funciton 中，当 `tidb_enable_noop_functions = 0/OFF` 时，修改改变量会报错。 +- 系统变量 `sql_auto_is_null` 被加入 Noop Function 中，当 `tidb_enable_noop_functions = 0/OFF` 时，修改该变量会报错。 - 不再允许执行 `GRANT ALL ON performance_schema.*` 语法，在 TiDB 上执行该语句会报错。 - v5.3.0 之前，对于新增索引，analyze 时间不受设定时间的限制，`tidb_auto_analyze_start_time` 和 `tidb_auto_analyze_end_time` 时间段内将不会触发 auto analyze - plugin 的默认路径从 "" 改为 /data/deploy/plugin From 91cbb6a9210d32f778f51e20488a150969947fc0 Mon Sep 17 00:00:00 2001 From: TomShawn <41534398+TomShawn@users.noreply.github.com> Date: Mon, 15 Nov 2021 18:01:16 +0800 Subject: [PATCH 41/78] Update releases/release-5.3.0.md Co-authored-by: Flowyi --- releases/release-5.3.0.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/releases/release-5.3.0.md b/releases/release-5.3.0.md index 16c64d6882dc..37115f65de3b 100644 --- a/releases/release-5.3.0.md +++ b/releases/release-5.3.0.md @@ -285,7 +285,7 @@ TiDB 在遥测中新增收集 <列出本次新增遥测内容>。 - 显著优化了 TableScan 算子的执行效率 - 优化了 Exchange 算子的执行效率 - - 减少了存储引擎的 GC 过程中的写放大和内存使用 + - 减少了存储引擎的 GC 过程中的写放大和内存使用（实验功能） - 改进了 TiFlash 重启时的稳定性和可用性，减少了重启结束后短时间内查询可能失败的情况 - 增加支持下推多个新的字符串，时间等函数到 MPP 引擎 From 722c5a1237f5756c0180709667ea2ae3b3c6bece Mon Sep 17 00:00:00 2001 From: Liuxiaozhen12 <82579298+Liuxiaozhen12@users.noreply.github.com> Date: Tue, 16 Nov 2021 11:11:01 +0800 Subject: [PATCH 42/78] Update releases/release-5.3.0.md --- releases/release-5.3.0.md | 1 - 1 file changed, 1 deletion(-) diff --git a/releases/release-5.3.0.md b/releases/release-5.3.0.md index 37115f65de3b..4167a5d9d7f7 100644 --- a/releases/release-5.3.0.md +++ b/releases/release-5.3.0.md @@ -160,7 +160,6 @@ TiDB 版本：5.3.0 - 合并单行数据的多次变更（Compact multiple updates on a single row into one statement） - 点查更新合并为批量操作（Merge batch updates of multiple rows into one statement） - - 异步保存检查点（Async Checkpoint） - **增加 DM 的 OpenAPI 以更方便地管理集群（实验特性）** From adfda7ef70728ab73168cc72dd984f72022751f7 Mon Sep 17 00:00:00 2001 From: Grace Cai Date: Tue, 16 Nov 2021 11:25:02 +0800 Subject: [PATCH 43/78] Apply suggestions from code review Co-authored-by: Liuxiaozhen12 <82579298+Liuxiaozhen12@users.noreply.github.com> --- releases/release-5.3.0.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/releases/release-5.3.0.md b/releases/release-5.3.0.md index 4167a5d9d7f7..e7107ef8a887 100644 --- a/releases/release-5.3.0.md +++ b/releases/release-5.3.0.md @@ -154,7 +154,7 @@ TiDB 版本：5.3.0 ### 数据迁移 -- **提高 DM 复制性能** +- **提高 DM 同步性能** 支持以下功能，实现以更低的延迟将数据从 MySQL 同步数据到 TiDB。 From 5c592f397d34397afa38530071ccbf837eff44f0 Mon Sep 17 00:00:00 2001 From: qiancai Date: Tue, 16 Nov 2021 11:36:04 +0800 Subject: [PATCH 44/78] Update release-5.3.0.md --- releases/release-5.3.0.md | 18 +++++++++--------- 1 file changed, 9 insertions(+), 9 deletions(-) diff --git a/releases/release-5.3.0.md b/releases/release-5.3.0.md index dcaa932acb8e..07b279a4d8b5 100644 --- a/releases/release-5.3.0.md +++ b/releases/release-5.3.0.md @@ -99,7 +99,7 @@ TiDB 版本：5.3.0 对于存在多表 join 的语句，支持只对 `OF TABLES` 中包含的表关联的行进行悲观锁加锁操作。 - [用户文档](/sql-statements/sql-statement-select.md), [#28689](https://github.com/pingcap/tidb/issues/28689) + [用户文档](/sql-statements/sql-statement-select.md)，[#28689](https://github.com/pingcap/tidb/issues/28689) - **表属性设置** @@ -107,7 +107,7 @@ TiDB 版本：5.3.0 应用场景：当用户 `SPLIT TABLE` 之后，如果超过一定时间后没有插入数据，空 Region 默认会被自动合并。此时，可以通过该功能设置表属性为 `merge_option=deny`，避免 Region 的自动合并。 - [用户文档](/table-attributes.md), [#3839](https://github.com/tikv/pd/issues/3839) + [用户文档](/table-attributes.md)，[#3839](https://github.com/tikv/pd/issues/3839) ### 安全 @@ -137,7 +137,7 @@ TiDB 版本：5.3.0 > > 在 TSO 请求负载不高的情况下，不建议调整该参数。 - [用户文档](/system-variables.md#tidb_tso_client_batch_max_wait_time-从-v53-版本开始引入), [#3149](https://github.com/tikv/pd/issues/3149) + [用户文档](/system-variables.md#tidb_tso_client_batch_max_wait_time-从-v53-版本开始引入)，[#3149](https://github.com/tikv/pd/issues/3149) ### 稳定性 @@ -150,7 +150,7 @@ TiDB 版本：5.3.0 需要注意的是，Raft 多数副本失败的情况下无法避免已提交数据的丢失。 - [用户文档](/online-unsafe-recovery.md), [#10483](https://github.com/tikv/tikv/issues/10483) + [用户文档](/online-unsafe-recovery.md)，[#10483](https://github.com/tikv/tikv/issues/10483) ### 数据迁移 @@ -251,7 +251,7 @@ TiDB 在遥测中新增收集 <列出本次新增遥测内容>。 ## 移除功能 -从 TiCDC v5.3.0 版本开始, TiDB 集群之间的环形同步功能（v5.0 实验特性）被移除。 +从 TiCDC v5.3.0 版本开始，TiDB 集群之间的环形同步功能（v5.0 实验特性）被移除。 ## 提升改进 @@ -289,11 +289,11 @@ TiDB 在遥测中新增收集 <列出本次新增遥测内容>。 - 改进了 TiFlash 重启时的稳定性和可用性，减少了重启结束后短时间内查询可能失败的情况 - 增加支持下推多个新的字符串，时间等函数到 MPP 引擎 - - 字符串函数：LIKE pattern，FORMAT(), LOWER(), LTRIM(), RTRIM(), SUBSTRING_INDEX(), TRIM(), UCASE(), UPPER() + - 字符串函数：LIKE pattern，FORMAT()，LOWER()，LTRIM()，RTRIM()，SUBSTRING_INDEX()，TRIM()，UCASE()，UPPER() - 数学函数：ROUND(decimal, int) - - 日期时间函数：HOUR(), MICROSECOND(), MINUTE(), SECOND(), SYSDATE() + - 日期时间函数：HOUR()，MICROSECOND()，MINUTE()，SECOND()，SYSDATE() - 类型转换函数：CAST(time, real) - - 聚合函数：GROUP_CONCAT(), SUM(enum) + - 聚合函数：GROUP_CONCAT()，SUM(enum) - 提供了 512 位 SIMD 支持 - 增强了对过期的数据版本的清理算法，减少磁盘使用量及提高读文件性能 @@ -348,7 +348,7 @@ TiDB 在遥测中新增收集 <列出本次新增遥测内容>。 - 修复 `plus` 表达式中检查溢出方法出错的问题 [26977](https://github.com/pingcap/tidb/issues/26977) - 修复当导出带有 `new collation` 数据的表的统计信息时报 `data too long` 错误的问题 [27024](https://github.com/pingcap/tidb/issues/27024) - 修复 `TIDB_TRX` 中不包含重试事务的问题 [28670](https://github.com/pingcap/tidb/pull/28670) - - 修复配置项 `plugin_dir` 的默认值错误问题 [28084](https://github.com/pingcap/tidb/issues/28084) + - 修复配置项 `plugin_dir` 的默认值错误问题 [28084](https://github.com/pingcap/tidb/issues/28084) + TiKV From 5bd0ee1f0e41bc1aa20f0efaf0188c3104096c78 Mon Sep 17 00:00:00 2001 From: Grace Cai Date: Tue, 16 Nov 2021 12:06:51 +0800 Subject: [PATCH 45/78] Update releases/release-5.3.0.md Co-authored-by: Ian --- releases/release-5.3.0.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/releases/release-5.3.0.md b/releases/release-5.3.0.md index 57e2e29e700a..3b379d44acc7 100644 --- a/releases/release-5.3.0.md +++ b/releases/release-5.3.0.md @@ -173,7 +173,7 @@ TiDB 版本：5.3.0 TiDB Lightning 支持用户同时部署多个 Lightning，并行地将单表或者多表数据迁移 TiDB。该功能无需特别的配置，在不改变用户使用习惯的同时，极大提高了用户的数据迁移能力，助力大数据量业务架构升级，在生产环境使用 TiDB。 - 在产品性能测试中，使用 x 个 Lightning 导入整体大小 x TB MySQL 分表数据到 TiDB 单表，总耗时 x h，平均单台 Lightning 速度达到 x GB/h。（数据待更新）。此外在 MySQL 分表数据聚合迁移到 TiDB 的场景中，MySQL 分表之间可能有冲突数据（主键/唯一键索引相同的数据），Lightning 也支持了数据导入过程中检查冲突数据的功能，用户可以使用该功能发现冲突数据，然后按照业务规则进行处理，冲突检测使用文档（待更新）。 + 在产品性能测试中，使用 x 个 Lightning 导入整体大小 x TB MySQL 分表数据到 TiDB 单表，总耗时 x h，平均单台 Lightning 速度达到 x GB/h。（数据待更新）。 [用户文档](/tidb-lightning/tidb-lightning-distributed-import.md) From ffffaafee5a99a7542f5d5003acbe4b4f66feaa5 Mon Sep 17 00:00:00 2001 From: qiancai Date: Tue, 16 Nov 2021 13:34:08 +0800 Subject: [PATCH 46/78] remove_error_resolution_description --- releases/release-5.3.0.md | 14 +------------- 1 file changed, 1 insertion(+), 13 deletions(-) diff --git a/releases/release-5.3.0.md b/releases/release-5.3.0.md index 57e2e29e700a..8dea8d523c5e 100644 --- a/releases/release-5.3.0.md +++ b/releases/release-5.3.0.md @@ -173,7 +173,7 @@ TiDB 版本：5.3.0 TiDB Lightning 支持用户同时部署多个 Lightning，并行地将单表或者多表数据迁移 TiDB。该功能无需特别的配置，在不改变用户使用习惯的同时，极大提高了用户的数据迁移能力，助力大数据量业务架构升级，在生产环境使用 TiDB。 - 在产品性能测试中，使用 x 个 Lightning 导入整体大小 x TB MySQL 分表数据到 TiDB 单表，总耗时 x h，平均单台 Lightning 速度达到 x GB/h。（数据待更新）。此外在 MySQL 分表数据聚合迁移到 TiDB 的场景中，MySQL 分表之间可能有冲突数据（主键/唯一键索引相同的数据），Lightning 也支持了数据导入过程中检查冲突数据的功能，用户可以使用该功能发现冲突数据，然后按照业务规则进行处理，冲突检测使用文档（待更新）。 + 在产品性能测试中，使用 x 个 Lightning 导入整体大小 x TB MySQL 分表数据到 TiDB 单表，总耗时 x h，平均单台 Lightning 速度达到 x GB/h。（数据待更新）。 [用户文档](/tidb-lightning/tidb-lightning-distributed-import.md) @@ -187,18 +187,6 @@ TiDB 版本：5.3.0 [用户文档](/tidb-lightning/tidb-lightning-configuration.md) -- **TiDB Lightning 支持忽略部分错误行（实验特性）** - - 从 TiDB 5.3.0 开始，你可以配置 TiDB Lightning 以跳过诸如无效类型转换、唯一键冲突等错误，让导入任务持续进行，就如同出现错误的行数据不存在一样。你可以依据生成的报告，手动修复这些错误。该功能适用于以下场景： - - - 要导入的数据有少许错误 - - 手动定位错误比较困难 - - 如果遇到错误就重启 TiDB Lightning，代价太大 - - TiDB Lightning 错误处理功能是实验特性。**不建议**在生产环境中仅依赖该功能处理相关错误。 - - [用户文档](/tidb-lightning/tidb-lightning-error-resolution.md) - - **Sync-diff-inspector 优化** - 大幅提升了对比速度，由原来的 375 MB/s 提升至 700 MB/s From be061e3edab73802038cfcd020d69feaf44c8bdd Mon Sep 17 00:00:00 2001 From: qiancai Date: Tue, 16 Nov 2021 13:39:58 +0800 Subject: [PATCH 47/78] Update release-5.3.0.md --- releases/release-5.3.0.md | 1 + 1 file changed, 1 insertion(+) diff --git a/releases/release-5.3.0.md b/releases/release-5.3.0.md index 8dea8d523c5e..d545e7b1db46 100644 --- a/releases/release-5.3.0.md +++ b/releases/release-5.3.0.md @@ -63,6 +63,7 @@ TiDB 版本：5.3.0 - 不再允许执行 `GRANT ALL ON performance_schema.*` 语法，在 TiDB 上执行该语句会报错。 - v5.3.0 之前，对于新增索引，analyze 时间不受设定时间的限制，`tidb_auto_analyze_start_time` 和 `tidb_auto_analyze_end_time` 时间段内将不会触发 auto analyze - plugin 的默认路径从 "" 改为 /data/deploy/plugin +- DM 代码迁移至 [TiCDC 代码仓库的 dm 文件夹](https://github.com/pingcap/ticdc/tree/master/dm)。DM 版本号从 v2.0.x 修改为 v5.3.0，用户可以无风险从 v2.0.x 升级至 v5.3。 ## 新功能 From 5915bb2ae965bb9f1da8c8b6add7b6119183e288 Mon Sep 17 00:00:00 2001 From: qiancai Date: Tue, 16 Nov 2021 13:48:10 +0800 Subject: [PATCH 48/78] Update release-5.3.0.md --- releases/release-5.3.0.md | 6 ------ 1 file changed, 6 deletions(-) diff --git a/releases/release-5.3.0.md b/releases/release-5.3.0.md index d545e7b1db46..c4d763fafa92 100644 --- a/releases/release-5.3.0.md +++ b/releases/release-5.3.0.md @@ -231,12 +231,6 @@ TiDB 版本：5.3.0 [用户文档](/dashboard/continuous-profiling.md) -### 遥测 - -TiDB 在遥测中新增收集 <列出本次新增遥测内容>。 - -若要了解所收集的信息详情及如何禁用该行为，请参见[遥测](/telemetry.md)文档。 - ## 移除功能 从 TiCDC v5.3.0 版本开始，TiDB 集群之间的环形同步功能（v5.0 实验特性）被移除。 From 33a869b969c79d08a9ea79b554c65244315035cd Mon Sep 17 00:00:00 2001 From: Grace Cai Date: Tue, 16 Nov 2021 14:01:16 +0800 Subject: [PATCH 49/78] Apply suggestions from code review Co-authored-by: Liuxiaozhen12 <82579298+Liuxiaozhen12@users.noreply.github.com> --- releases/release-5.3.0.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/releases/release-5.3.0.md b/releases/release-5.3.0.md index c4d763fafa92..294eecc83262 100644 --- a/releases/release-5.3.0.md +++ b/releases/release-5.3.0.md @@ -14,7 +14,7 @@ TiDB 版本：5.3.0 + 支持设置表和分区的表属性 + 支持为 TiDB Dashboard 创建最小权限用户，提高系统安全性 + 优化 TiDB 时间戳处理流程，提升系统的整体性能 -+ 提高 DM 复制性能，实现以更低的延迟将数据从 MySQL 同步数据到 TiDB ++ 提高 DM 同步性能，实现以更低的延迟将数据从 MySQL 同步数据到 TiDB + 支持 TiDB Lightning 分布式并行导入，提升全量数据迁移效率 + 支持“一键”保存和恢复现场问题的相关信息，提升查询计划问题诊断的效率 + 支持持续性能分析 (Continuous Profiling) 实验特性，提高数据库性能的可观测性 From 6eb749a40a19467e7aabf51ef57fb85c4720e8c2 Mon Sep 17 00:00:00 2001 From: qiancai Date: Tue, 16 Nov 2021 15:01:11 +0800 Subject: [PATCH 50/78] Update release-5.3.0.md --- releases/release-5.3.0.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/releases/release-5.3.0.md b/releases/release-5.3.0.md index 294eecc83262..2b570a9c68b5 100644 --- a/releases/release-5.3.0.md +++ b/releases/release-5.3.0.md @@ -233,7 +233,7 @@ TiDB 版本：5.3.0 ## 移除功能 -从 TiCDC v5.3.0 版本开始，TiDB 集群之间的环形同步功能（v5.0 实验特性）被移除。 +从 TiCDC v5.3.0 版本开始，TiDB 集群之间的环形同步功能（v5.0 实验特性）被移除。如果在升级 TiCDC 前已经使用过环形同步功能复制数据，升级后此部分数据的环形同步不受影响。 ## 提升改进 From 9843cded1eb5e12948182c832a92fc6cb46d9785 Mon Sep 17 00:00:00 2001 From: Grace Cai Date: Tue, 16 Nov 2021 15:14:03 +0800 Subject: [PATCH 51/78] Update releases/release-5.3.0.md Co-authored-by: sunzy --- releases/release-5.3.0.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/releases/release-5.3.0.md b/releases/release-5.3.0.md index 2b570a9c68b5..2d4229f5eec7 100644 --- a/releases/release-5.3.0.md +++ b/releases/release-5.3.0.md @@ -170,7 +170,7 @@ TiDB 版本：5.3.0 [用户文档](https://docs.pingcap.com/zh/tidb-data-migration/stable/open-api) -- **TiDB Lightning 分布式并行导入** +- **TiDB Lightning 并行导入** TiDB Lightning 支持用户同时部署多个 Lightning，并行地将单表或者多表数据迁移 TiDB。该功能无需特别的配置，在不改变用户使用习惯的同时，极大提高了用户的数据迁移能力，助力大数据量业务架构升级，在生产环境使用 TiDB。 From 85221e08422e7c263192768ccd1628490928cdf2 Mon Sep 17 00:00:00 2001 From: Enwei Date: Wed, 17 Nov 2021 12:14:55 +0100 Subject: [PATCH 52/78] Apply suggestions from code review Co-authored-by: TomShawn <41534398+TomShawn@users.noreply.github.com> --- releases/release-5.3.0.md | 37 +++++++++++++++++++------------------ 1 file changed, 19 insertions(+), 18 deletions(-) diff --git a/releases/release-5.3.0.md b/releases/release-5.3.0.md index 2d4229f5eec7..fbc1fe0b7d24 100644 --- a/releases/release-5.3.0.md +++ b/releases/release-5.3.0.md @@ -34,7 +34,7 @@ TiDB 版本：5.3.0 | [`tidb_enable_pseudo_for_outdated_stats`](/system-variables.md#tidb_enable_pseudo_for_outdated_stats-从-v530-版本开始引入) | 新增 | 此变量用于控制优化器在一张表上的统计信息过期时的行为。默认值为 `ON`，当表数据被修改的行数大于该表总行数的 80% （该比例可通过 [`pseudo-estimate-ratio`](/tidb-configuration-file.md#pseudo-estimate-ratio) 配置项调整） 时，优化器认为该表上除总行数以外的统计信息不再可靠，转而使用 pseudo 统计信息。将该变量值设为 `OFF` 后，即使统计信息过期，优化器也仍会使用该表上的统计信息。| |[`tidb_enable_tso_follower_proxy`](/system-variables.md#tidb_enable_tso_follower_proxy-从-v53-版本开始引入) | 新增 | 此变量用于开启或关闭 TSO Follower Proxy 特性。默认值为 `OFF`，代表关闭TSO Follower Proxy 特性。此时，TiDB 仅会从 PD leader 获取 TSO。当开启该特性之后，TiDB 在获取 TSO 时会将请求均匀地发送到所有 PD 节点上，通过 PD follower 转发 TSO 请求，从而降低 PD leader 的 CPU 压力。 | |[`tidb_tso_client_batch_max_wait_time`](/system-variables.md#tidb_tso_client_batch_max_wait_time-从-v53-版本开始引入) | 新增 | 此变量用于设置 TiDB 向 PD 请求 TSO 时进行一次攒批操作的最大等待时长。默认值为 `0`，即不进行额外的等待。 | -| [tidb_tmp_table_max_size](/system-variables.md#tidb_tmp_table_max_size-从-v53-版本开始引入) | 新增 | 此变量用于限制单个[临时表](/temporary-table.md)的最大大小，临时表超出该大小后报错。 | +| [tidb_tmp_table_max_size](/system-variables.md#tidb_tmp_table_max_size-从-v53-版本开始引入) | 新增 | 此变量用于限制单个[临时表](/temporary-tables.md)的最大大小，临时表超出该大小后报错。 | ### 配置文件参数 @@ -54,16 +54,16 @@ TiDB 版本：5.3.0 - 临时表： - 如果在 v5.3.0 升级前创建了本地临时表，这些临时表实际为普通表，在升级后也会被 TiDB 当成普通表处理。在 v5.3.0 上创建的全局临时表在降级后会被当作普通表处理，导致数据错误。 - - TiCDC 和 BR 从 v5.3.0 开始支持[全局临时表](/temporary-table.md#全局临时表)。如果使用 v5.3.0 以下版本同步全局临时表到下游，会导致表定义错误。 + - TiCDC 和 BR 从 v5.3.0 开始支持[全局临时表](/temporary-tables.md#全局临时表)。如果使用 v5.3.0 以下版本同步全局临时表到下游，会导致表定义错误。 - 通过 TiDB 生态工具导入的集群、恢复后的集群、同步的下游集群必须是 TiDB v5.3.0 及以上版本，否则创建全局临时表时报错。 - - 关于临时表的更多兼容性信息，请参考 [与 MySQL 临时表的兼容性](/temporary-table.md#与-mysql-临时表的兼容性)和[与其他 TiDB 功能的兼容性限制](/temporary-table.md#与其他-tidb-功能的兼容性限制)。 + - 关于临时表的更多兼容性信息，请参考 [与 MySQL 临时表的兼容性](/temporary-tables.md#与-mysql-临时表的兼容性)和[与其他 TiDB 功能的兼容性限制](/temporary-table.md#与其他-tidb-功能的兼容性限制)。 - 修正 `SHOW CREATE VIEW` 不需要 `SHOW VIEW` 权限的问题，现在用户必须具有 `SHOW VIEW` 权限才允许执行 `SHOW CREATE VIEW` 语句。 - 系统变量 `sql_auto_is_null` 被加入 Noop Function 中，当 `tidb_enable_noop_functions = 0/OFF` 时，修改该变量会报错。 - 不再允许执行 `GRANT ALL ON performance_schema.*` 语法，在 TiDB 上执行该语句会报错。 -- v5.3.0 之前，对于新增索引，analyze 时间不受设定时间的限制，`tidb_auto_analyze_start_time` 和 `tidb_auto_analyze_end_time` 时间段内将不会触发 auto analyze -- plugin 的默认路径从 "" 改为 /data/deploy/plugin -- DM 代码迁移至 [TiCDC 代码仓库的 dm 文件夹](https://github.com/pingcap/ticdc/tree/master/dm)。DM 版本号从 v2.0.x 修改为 v5.3.0，用户可以无风险从 v2.0.x 升级至 v5.3。 +- 修复了 v5.3.0 之前的版本中新增索引会导致在规定时间外触发 auto-analyze 的问题。在 v5.3.0 中，用户通过 `tidb_auto_analyze_start_time` 和 `tidb_auto_analyze_end_time` 设定时间段后，只会在该时间段内触发 auto-analyze。 +- plugin 默认存放目录从 "" 改为 /data/deploy/plugin。 +- DM 代码迁移至 [TiCDC 代码仓库的 dm 文件夹](https://github.com/pingcap/ticdc/tree/master/dm)。DM 版本号从 v2.0.x 修改为 v5.3.0，用户可以无风险从 v2.0.x 升级至 v5.3.0。 ## 新功能 @@ -102,9 +102,9 @@ TiDB 版本：5.3.0 [用户文档](/sql-statements/sql-statement-select.md)，[#28689](https://github.com/pingcap/tidb/issues/28689) -- **表属性设置** +- **设置表属性** - 增加 `ALTER TABLE [PARTITION] ATTRIBUTES` 语句支持，允许用户设置表和分区的表属性。目前支持设置 `merge_option` 属性。通过设置 `merge_option` 属性，用户可以显式控制 Region 是否合并。 + 增加 `ALTER TABLE [PARTITION] ATTRIBUTES` 语句支持，允许用户为表和分区设置属性。目前 TiDB 仅支持设置 `merge_option` 属性。通过为表或分区添加 `merge_option` 属性，用户可以显式控制 Region 是否合并。 应用场景：当用户 `SPLIT TABLE` 之后，如果超过一定时间后没有插入数据，空 Region 默认会被自动合并。此时，可以通过该功能设置表属性为 `merge_option=deny`，避免 Region 的自动合并。 @@ -124,15 +124,15 @@ TiDB 版本：5.3.0 - **优化 PD 时间戳处理流程** - 优化 TiDB 时间戳处理流程，支持通过开启 PD follower proxy 和调整 PD client 批量请求 TSO 的最大等待时长，降低 PD leader 时间戳处理负载，提升系统整体可扩展性。 + 优化 TiDB 时间戳处理流程，支持通过开启 PD Follower Proxy 和调整 PD client 批量请求 TSO 时所需的 batch 等待时间的方式来降低 PD leader 时间戳处理负载，提升系统整体可扩展性。 - - 支持通过 [`tidb_enable_tso_follower_proxy`](/system-variables.md#tidb_enable_tso_follower_proxy-从-v53-版本开始引入) 系统变量设置 PD follower proxy 功能开关。在 PD 时间戳请求负载过高的情况下，通过开启 PD follower proxy，可以将 follower 上请求周期内收集到的 TSO request 批量转发到 leader 节点，有效减少 client 与 leader 的直接交互次数，降低 leader 的负载，提升 TiDB 整体性能。 + - 支持通过系统变量 [`tidb_enable_tso_follower_proxy`](/system-variables.md#tidb_enable_tso_follower_proxy-从-v53-版本开始引入) 设置 PD Follower Proxy 功能开关。在 PD 时间戳请求负载过高的情况下，通过开启 PD Follower Proxy，可以将 follower 上请求周期内收集到的 TSO request 批量转发到 leader 节点，从而有效减少 client 与 leader 的直接交互次数，降低 leader 的负载，提升 TiDB 整体性能。 > **注意：** > - > 在 client 数较少的情况下，PD leader 负载不高的情况下，不建议开启 PD follower proxy 功能。 + > 在 client 数较少、PD leader 负载不高的情况下，不建议开启 PD Follower Proxy 功能。 - - 支持通过 [`tidb_tso_client_batch_max_wait_time`](/system-variables.md#tidb_tso_client_batch_max_wait_time-从-v53-版本开始引入) 系统变量设置 PD client 批量请求 TSO 的最大等待时间，单位毫秒。在 PD TSO 请求负载过高的情况下，通过调大该参数，可以提升一次请求 TSO 的数量，降低 PD 负载，提升吞吐。 + - 支持通过 [`tidb_tso_client_batch_max_wait_time`](/system-variables.md#tidb_tso_client_batch_max_wait_time-从-v53-版本开始引入) 系统变量设置 PD client 批量请求 TSO 时所需的最大 batch 等待时间，单位为毫秒。在 PD TSO 请求负载过高的情况下，可以通过调大等待时间获得更大的 batch size，从而降低 PD 负载，提升吞吐。 > **注意：** > @@ -142,14 +142,15 @@ TiDB 版本：5.3.0 ### 稳定性 -- **支持 Raft 多数副本丢失时数据的在线恢复能力（实验特性）** +- **支持多节点永久损坏后的在线有损恢复（实验特性）** - 增加 PD-CTL RECOVER-STORE-FAILURE 语句支持，提供在线恢复 TiKV 实例能力。通过该功能，可以实现： + 新增对 `unsafe remove-failed-stores` 命令的支持，实现数据有损恢复。当多数副本发生了永久性损坏（如磁盘损坏）等问题，导致无法在业务层读写一段数据时，PD 可以执行在线数据恢复，使该数据恢复至可读写状态。 - - 在线恢复所有 Raft 多数副本丢失的 Region 可读写。 - - 保证恢复所有 Region 后没有数据空洞。 - - 需要注意的是，Raft 多数副本失败的情况下无法避免已提交数据的丢失。 +> **警告：** +> +> - 此功能为有损恢复，无法保证数据和数据索引完整性。 +> - 此功能为实验特性，其接口、策略和内部实现在 GA 前可能会有所变化。虽然已通过部分场景的测试，但尚未经过广泛验证，使用此功能可能导致系统不可用，不建议在生产环境中使用。 +> - 建议在 TiDB 团队支持下进行相关操作，操作不当可能导致集群难以恢复。 [用户文档](/online-unsafe-recovery.md)，[#10483](https://github.com/tikv/tikv/issues/10483) From 26e99d311bacccd115244bd0acc7ecc5e55d0fd6 Mon Sep 17 00:00:00 2001 From: Enwei Date: Wed, 17 Nov 2021 12:15:45 +0100 Subject: [PATCH 53/78] Apply suggestions from code review --- releases/release-5.3.0.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/releases/release-5.3.0.md b/releases/release-5.3.0.md index fbc1fe0b7d24..8cd499d220d3 100644 --- a/releases/release-5.3.0.md +++ b/releases/release-5.3.0.md @@ -53,7 +53,7 @@ TiDB 版本：5.3.0 - 临时表： - - 如果在 v5.3.0 升级前创建了本地临时表，这些临时表实际为普通表，在升级后也会被 TiDB 当成普通表处理。在 v5.3.0 上创建的全局临时表在降级后会被当作普通表处理，导致数据错误。 + - 对于本地临时表，如果在 v5.3.0 升级前创建了本地临时表，这些临时表实际为普通表，在升级至 v5.3.0 或更高版本后，也会被 TiDB 当成普通表处理。对于全局临时表，如果在 v5.3.0 上创建了全局临时表，当 TiDB 降级至 v5.3.0 以前版本后，这些临时表会被当作普通表处理，导致数据错误。 - TiCDC 和 BR 从 v5.3.0 开始支持[全局临时表](/temporary-tables.md#全局临时表)。如果使用 v5.3.0 以下版本同步全局临时表到下游，会导致表定义错误。 - 通过 TiDB 生态工具导入的集群、恢复后的集群、同步的下游集群必须是 TiDB v5.3.0 及以上版本，否则创建全局临时表时报错。 - 关于临时表的更多兼容性信息，请参考 [与 MySQL 临时表的兼容性](/temporary-tables.md#与-mysql-临时表的兼容性)和[与其他 TiDB 功能的兼容性限制](/temporary-table.md#与其他-tidb-功能的兼容性限制)。 From d52edfc2e73e4817350965b1f109aa4c2dc74a03 Mon Sep 17 00:00:00 2001 From: Enwei Date: Wed, 17 Nov 2021 12:17:00 +0100 Subject: [PATCH 54/78] Update releases/release-5.3.0.md --- releases/release-5.3.0.md | 4 ++-- 1 file changed, 2 insertions(+), 2 deletions(-) diff --git a/releases/release-5.3.0.md b/releases/release-5.3.0.md index 8cd499d220d3..4d3c4efb9088 100644 --- a/releases/release-5.3.0.md +++ b/releases/release-5.3.0.md @@ -58,10 +58,10 @@ TiDB 版本：5.3.0 - 通过 TiDB 生态工具导入的集群、恢复后的集群、同步的下游集群必须是 TiDB v5.3.0 及以上版本，否则创建全局临时表时报错。 - 关于临时表的更多兼容性信息，请参考 [与 MySQL 临时表的兼容性](/temporary-tables.md#与-mysql-临时表的兼容性)和[与其他 TiDB 功能的兼容性限制](/temporary-table.md#与其他-tidb-功能的兼容性限制)。 -- 修正 `SHOW CREATE VIEW` 不需要 `SHOW VIEW` 权限的问题，现在用户必须具有 `SHOW VIEW` 权限才允许执行 `SHOW CREATE VIEW` 语句。 +- 修复 `SHOW CREATE VIEW` 不需要 `SHOW VIEW` 权限的问题，现在用户必须具有 `SHOW VIEW` 权限才允许执行 `SHOW CREATE VIEW` 语句。 - 系统变量 `sql_auto_is_null` 被加入 Noop Function 中，当 `tidb_enable_noop_functions = 0/OFF` 时，修改该变量会报错。 - 不再允许执行 `GRANT ALL ON performance_schema.*` 语法，在 TiDB 上执行该语句会报错。 -- 修复了 v5.3.0 之前的版本中新增索引会导致在规定时间外触发 auto-analyze 的问题。在 v5.3.0 中，用户通过 `tidb_auto_analyze_start_time` 和 `tidb_auto_analyze_end_time` 设定时间段后，只会在该时间段内触发 auto-analyze。 +- 修复 v5.3.0 之前的版本中新增索引会导致在规定时间外触发 auto-analyze 的问题。在 v5.3.0 中，用户通过 `tidb_auto_analyze_start_time` 和 `tidb_auto_analyze_end_time` 设定时间段后，只会在该时间段内触发 auto-analyze。 - plugin 默认存放目录从 "" 改为 /data/deploy/plugin。 - DM 代码迁移至 [TiCDC 代码仓库的 dm 文件夹](https://github.com/pingcap/ticdc/tree/master/dm)。DM 版本号从 v2.0.x 修改为 v5.3.0，用户可以无风险从 v2.0.x 升级至 v5.3.0。 From 0ba6c7a0aaaf73ed4698e00e481cd04c1cfae8e0 Mon Sep 17 00:00:00 2001 From: TomShawn <41534398+TomShawn@users.noreply.github.com> Date: Thu, 18 Nov 2021 11:06:05 +0800 Subject: [PATCH 55/78] update index and release timeline --- _index.md | 2 +- releases/release-timeline.md | 1 + 2 files changed, 2 insertions(+), 1 deletion(-) diff --git a/_index.md b/_index.md index 51635ada88a3..7adee2208eee 100644 --- a/_index.md +++ b/_index.md @@ -16,7 +16,7 @@ aliases: ['/docs-cn/dev/'] - [TiDB 简介](/overview.md) - [基本功能](/basic-features.md) -- [TiDB 5.2 Release Notes](/releases/release-5.2.0.md) +- [TiDB 5.3 Release Notes](/releases/release-5.3.0.md) - [TiDB 版本发布时间线](/releases/release-timeline.md) - [与 MySQL 的兼容性](/mysql-compatibility.md) - [使用限制](/tidb-limitations.md) diff --git a/releases/release-timeline.md b/releases/release-timeline.md index 368ede6bea6b..f0ad092713fe 100644 --- a/releases/release-timeline.md +++ b/releases/release-timeline.md @@ -9,6 +9,7 @@ summary: 了解 TiDB 的版本发布时间线。 | 版本 | 发布日期 | | :--- | :--- | +| [5.3.0](/releases/release-5.3.0.md) | 2021-11-23 | | [5.2.2](/releases/release-5.2.2.md) | 2021-10-29 | | [5.1.2](/releases/release-5.1.2.md) | 2021-09-27 | | [5.0.4](/releases/release-5.0.4.md) | 2021-09-27 | From bef02ee87be6317409c7267a1681c4e31894b8bd Mon Sep 17 00:00:00 2001 From: Grace Cai Date: Thu, 18 Nov 2021 13:34:10 +0800 Subject: [PATCH 56/78] Apply suggestions from code review Co-authored-by: TomShawn <41534398+TomShawn@users.noreply.github.com> Co-authored-by: xixirangrang Co-authored-by: Liuxiaozhen12 <82579298+Liuxiaozhen12@users.noreply.github.com> --- releases/release-5.3.0.md | 8 +++++--- 1 file changed, 5 insertions(+), 3 deletions(-) diff --git a/releases/release-5.3.0.md b/releases/release-5.3.0.md index 4d3c4efb9088..05080e0fd2b1 100644 --- a/releases/release-5.3.0.md +++ b/releases/release-5.3.0.md @@ -73,12 +73,11 @@ TiDB 版本：5.3.0 新增对 `[CREATE | ALTER] PLACEMENT POLICY` 语句的支持，提供 SQL 接口设置数据放置规则。通过该功能，用户可以指定任意连续数据按照不同地域、机房、机柜、主机、硬件、副本数规则进行部署，满足低成本、高可用、灵活多变的业务诉求。该功能可以实现以下业务场景： - - 跨区域放置数据以改善局部访问性能 - 合并多个不同业务的数据库，大幅减少数据库常规运维管理的成本，并通过规则配置实现业务资源隔离 - 增加重要数据的副本数，提高业务可用性和数据可靠性 - 将最新数据存入 SSD，历史数据存入 HDD，降低归档数据存储成本 - 把热点数据的 leader 放到高性能的 TiKV 实例上 - - 将不相关的数据分离到不同的存储中以提高可用性 + - 将冷数据分离到不同的存储中以提高可用性 [用户文档](/information-schema/information-schema-placement-rules.md)，[#18030](https://github.com/pingcap/tidb/issues/18030) @@ -175,7 +174,8 @@ TiDB 版本：5.3.0 TiDB Lightning 支持用户同时部署多个 Lightning，并行地将单表或者多表数据迁移 TiDB。该功能无需特别的配置，在不改变用户使用习惯的同时，极大提高了用户的数据迁移能力，助力大数据量业务架构升级，在生产环境使用 TiDB。 - 在产品性能测试中，使用 x 个 Lightning 导入整体大小 x TB MySQL 分表数据到 TiDB 单表，总耗时 x h，平均单台 Lightning 速度达到 x GB/h。（数据待更新）。 +经测试，使用 10 台 TiDB Lightning，20 TB 规模的 MySQL 数据可以在 8 小时内导入到 TiDB，单台 TiDB Lightning 可以支持 250 GB/s 的导入速度，整体效率提升了 8 倍。 + [用户文档](/tidb-lightning/tidb-lightning-distributed-import.md) @@ -187,6 +187,8 @@ TiDB 版本：5.3.0 - **TiDB Lightning 支持导入 GBK 编码的文件** +通过指定源数据文件的字符集，TiDB Lightning 会在导入过程中将源文件从指定的字符集转换为 UTF-8 编码。 + [用户文档](/tidb-lightning/tidb-lightning-configuration.md) - **Sync-diff-inspector 优化** From bc7e50ddadc5d42a8204d7f0230e3587f023afcc Mon Sep 17 00:00:00 2001 From: Enwei Date: Thu, 18 Nov 2021 06:44:17 +0100 Subject: [PATCH 57/78] Apply suggestions from code review --- releases/release-5.3.0.md | 6 +----- 1 file changed, 1 insertion(+), 5 deletions(-) diff --git a/releases/release-5.3.0.md b/releases/release-5.3.0.md index 05080e0fd2b1..434a6fa7cf1b 100644 --- a/releases/release-5.3.0.md +++ b/releases/release-5.3.0.md @@ -145,11 +145,7 @@ TiDB 版本：5.3.0 新增对 `unsafe remove-failed-stores` 命令的支持，实现数据有损恢复。当多数副本发生了永久性损坏（如磁盘损坏）等问题，导致无法在业务层读写一段数据时，PD 可以执行在线数据恢复，使该数据恢复至可读写状态。 -> **警告：** -> -> - 此功能为有损恢复，无法保证数据和数据索引完整性。 -> - 此功能为实验特性，其接口、策略和内部实现在 GA 前可能会有所变化。虽然已通过部分场景的测试，但尚未经过广泛验证，使用此功能可能导致系统不可用，不建议在生产环境中使用。 -> - 建议在 TiDB 团队支持下进行相关操作，操作不当可能导致集群难以恢复。 +进行该功能相关操作时，建议在 TiDB 团队支持下完成。 [用户文档](/online-unsafe-recovery.md)，[#10483](https://github.com/tikv/tikv/issues/10483) From 7f0604d30c447e1e788ac59f5072531df6ce9639 Mon Sep 17 00:00:00 2001 From: Enwei Date: Thu, 18 Nov 2021 06:45:06 +0100 Subject: [PATCH 58/78] Update releases/release-5.3.0.md --- releases/release-5.3.0.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/releases/release-5.3.0.md b/releases/release-5.3.0.md index 434a6fa7cf1b..4cd3b187cfdd 100644 --- a/releases/release-5.3.0.md +++ b/releases/release-5.3.0.md @@ -145,7 +145,7 @@ TiDB 版本：5.3.0 新增对 `unsafe remove-failed-stores` 命令的支持，实现数据有损恢复。当多数副本发生了永久性损坏（如磁盘损坏）等问题，导致无法在业务层读写一段数据时，PD 可以执行在线数据恢复，使该数据恢复至可读写状态。 -进行该功能相关操作时，建议在 TiDB 团队支持下完成。 + 进行该功能相关操作时，建议在 TiDB 团队支持下完成。 [用户文档](/online-unsafe-recovery.md)，[#10483](https://github.com/tikv/tikv/issues/10483) From 40212b370e3316b2f7663b62aa922d24afbc6100 Mon Sep 17 00:00:00 2001 From: qiancai Date: Fri, 19 Nov 2021 14:36:12 +0800 Subject: [PATCH 59/78] Update release-5.3.0.md --- releases/release-5.3.0.md | 6 ++++++ 1 file changed, 6 insertions(+) diff --git a/releases/release-5.3.0.md b/releases/release-5.3.0.md index 4cd3b187cfdd..bec52395963e 100644 --- a/releases/release-5.3.0.md +++ b/releases/release-5.3.0.md @@ -218,6 +218,12 @@ TiDB 版本：5.3.0 [用户文档](/ticdc/manage-ticdc.md) + **TiCDC 支持 HTTP 协议 OpenAPI 对 TiCDC 任务进行管理** + + 从 TiDB v5.2.0 起，TiCDC 提供的 OpenAPI 功能成为正式特性，用户可通过 OpenAPI 对 TiCDC 集群进行查询和运维操作。 + + [用户文档](/ticdc/ticdc-open-api.md) + ### 部署及运维 - **持续性能分析（实验特性）** From 771b95351693a45cb851065954802a4cbe06b672 Mon Sep 17 00:00:00 2001 From: Liuxiaozhen12 <82579298+Liuxiaozhen12@users.noreply.github.com> Date: Mon, 22 Nov 2021 11:11:59 +0800 Subject: [PATCH 60/78] Apply suggestions from code review --- releases/release-5.3.0.md | 8 ++++---- 1 file changed, 4 insertions(+), 4 deletions(-) diff --git a/releases/release-5.3.0.md b/releases/release-5.3.0.md index bec52395963e..0e92296f0581 100644 --- a/releases/release-5.3.0.md +++ b/releases/release-5.3.0.md @@ -32,7 +32,7 @@ TiDB 版本：5.3.0 | :---------- | :----------- | :----------- | | [tidb_enable_noop_functions](/system-variables.md#tidb_enable_noop_functions-从-v40-版本开始引入) | 修改 | 此变量的控制范围不再包括 `CREATE TEMPORARY TABLE` 和 `DROP TEMPORARY TABLE` 行为。 | | [`tidb_enable_pseudo_for_outdated_stats`](/system-variables.md#tidb_enable_pseudo_for_outdated_stats-从-v530-版本开始引入) | 新增 | 此变量用于控制优化器在一张表上的统计信息过期时的行为。默认值为 `ON`，当表数据被修改的行数大于该表总行数的 80% （该比例可通过 [`pseudo-estimate-ratio`](/tidb-configuration-file.md#pseudo-estimate-ratio) 配置项调整） 时，优化器认为该表上除总行数以外的统计信息不再可靠，转而使用 pseudo 统计信息。将该变量值设为 `OFF` 后，即使统计信息过期，优化器也仍会使用该表上的统计信息。| -|[`tidb_enable_tso_follower_proxy`](/system-variables.md#tidb_enable_tso_follower_proxy-从-v53-版本开始引入) | 新增 | 此变量用于开启或关闭 TSO Follower Proxy 特性。默认值为 `OFF`，代表关闭TSO Follower Proxy 特性。此时，TiDB 仅会从 PD leader 获取 TSO。当开启该特性之后，TiDB 在获取 TSO 时会将请求均匀地发送到所有 PD 节点上，通过 PD follower 转发 TSO 请求，从而降低 PD leader 的 CPU 压力。 | +|[`tidb_enable_tso_follower_proxy`](/system-variables.md#tidb_enable_tso_follower_proxy-从-v53-版本开始引入) | 新增 | 此变量用于开启或关闭 TSO Follower Proxy 特性。默认值为 `OFF`，代表关闭 TSO Follower Proxy 特性。此时，TiDB 仅会从 PD leader 获取 TSO。当开启该特性之后，TiDB 在获取 TSO 时会将请求均匀地发送到所有 PD 节点上，通过 PD follower 转发 TSO 请求，从而降低 PD leader 的 CPU 压力。 | |[`tidb_tso_client_batch_max_wait_time`](/system-variables.md#tidb_tso_client_batch_max_wait_time-从-v53-版本开始引入) | 新增 | 此变量用于设置 TiDB 向 PD 请求 TSO 时进行一次攒批操作的最大等待时长。默认值为 `0`，即不进行额外的等待。 | | [tidb_tmp_table_max_size](/system-variables.md#tidb_tmp_table_max_size-从-v53-版本开始引入) | 新增 | 此变量用于限制单个[临时表](/temporary-tables.md)的最大大小，临时表超出该大小后报错。 | @@ -45,9 +45,9 @@ TiDB 版本：5.3.0 | TiKV | memory-usage-limit | 修改 | 以前的版本没有 memory-usage-limit 参数， 升级后改参数值根据 storage.block-cache.capacity来计算。 | | PD | [`log.file.max-days`](/pd-configuration-file.md#max-days) | 修改 | 此配置项用于控制日志保留的最长天数。默认值从 `1` 修改为 `0`。 | | PD | [`log.file.max-backups`](/pd-configuration-file.md#max-backups) | 修改 | 此配置项用于控制日志文件保留的最大个数。默认值从 `7` 修改为 `0`。 | -| PD | [`patrol-region-interval`](/pd-configuration-file.md#patrol-region-interval) | 修改 |此配置项用于控制 replicaChecker 检查 Region 健康状态的运行频率，越短则运行越快，通常状况不需要调整。默认值从 `100ms` 修改为 `10ms`。 | -| PD | [`max-snapshot-count`](/pd-configuration-file.md#max-snapshot-count) | 修改 |此配置项用于控制单个 store 最多同时接收或发送的 snapshot 数量，调度受制于这个配置来防止抢占正常业务的资源。默认值从 `3` 修改为 `64`。 | -| PD | [`max-pending-peer-count`](/pd-configuration-file.md#max-pending-peer-count) | 修改 |此配置项用于控制单个 store 的 pending peer 上限，调度受制于这个配置来防止在部分节点产生大量日志落后的 Region。默认值从 `16` 修改为 `64`。 | +| PD | [`patrol-region-interval`](/pd-configuration-file.md#patrol-region-interval) | 修改 | 此配置项用于控制 replicaChecker 检查 Region 健康状态的运行频率，越短则运行越快，通常状况不需要调整。默认值从 `100ms` 修改为 `10ms`。 | +| PD | [`max-snapshot-count`](/pd-configuration-file.md#max-snapshot-count) | 修改 | 此配置项用于控制单个 store 最多同时接收或发送的 snapshot 数量，调度受制于这个配置来防止抢占正常业务的资源。默认值从 `3` 修改为 `64`。 | +| PD | [`max-pending-peer-count`](/pd-configuration-file.md#max-pending-peer-count) | 修改 | 此配置项用于控制单个 store 的 pending peer 上限，调度受制于这个配置来防止在部分节点产生大量日志落后的 Region。默认值从 `16` 修改为 `64`。 | ### 其他 From 8ffb5bdbded8b87d06d32555d97ccae772d45694 Mon Sep 17 00:00:00 2001 From: shichun-0415 <89768198+shichun-0415@users.noreply.github.com> Date: Mon, 22 Nov 2021 11:13:55 +0800 Subject: [PATCH 61/78] Update releases/release-5.3.0.md --- releases/release-5.3.0.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/releases/release-5.3.0.md b/releases/release-5.3.0.md index 0e92296f0581..7f5113cfd45d 100644 --- a/releases/release-5.3.0.md +++ b/releases/release-5.3.0.md @@ -42,7 +42,7 @@ TiDB 版本：5.3.0 | :---------- | :----------- | :----------- | :----------- | | TiDB | [`prepared-plan-cache.capacity`](/tidb-configuration-file.md#capacity) | 修改 | 此配置项用于控制缓存语句的数量。默认值从 `100` 修改为 `1000`。 | | TiKV | [`storage.reserve-space`](/tikv-configuration-file.md#reserve-space) | 修改 | 此配置项用于控制 TiKV 启动时用于保护磁盘的预留空间。从 v5.3.0 起，预留空间的 80% 用作磁盘空间不足时运维操作所需要的额外磁盘空间，剩余的 20% 为磁盘临时文件。 | -| TiKV | memory-usage-limit | 修改 | 以前的版本没有 memory-usage-limit 参数， 升级后改参数值根据 storage.block-cache.capacity来计算。 | +| TiKV | memory-usage-limit | 修改 | 以前的版本没有 memory-usage-limit 参数， 升级后该参数值根据 storage.block-cache.capacity 来计算。 | | PD | [`log.file.max-days`](/pd-configuration-file.md#max-days) | 修改 | 此配置项用于控制日志保留的最长天数。默认值从 `1` 修改为 `0`。 | | PD | [`log.file.max-backups`](/pd-configuration-file.md#max-backups) | 修改 | 此配置项用于控制日志文件保留的最大个数。默认值从 `7` 修改为 `0`。 | | PD | [`patrol-region-interval`](/pd-configuration-file.md#patrol-region-interval) | 修改 | 此配置项用于控制 replicaChecker 检查 Region 健康状态的运行频率，越短则运行越快，通常状况不需要调整。默认值从 `100ms` 修改为 `10ms`。 | From 24ed4e288e216cd3b67bde794205bb5ad1c4872f Mon Sep 17 00:00:00 2001 From: Liuxiaozhen12 <82579298+Liuxiaozhen12@users.noreply.github.com> Date: Mon, 22 Nov 2021 13:47:34 +0800 Subject: [PATCH 62/78] Update releases/release-5.3.0.md --- releases/release-5.3.0.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/releases/release-5.3.0.md b/releases/release-5.3.0.md index 7f5113cfd45d..c80865a46c66 100644 --- a/releases/release-5.3.0.md +++ b/releases/release-5.3.0.md @@ -30,7 +30,7 @@ TiDB 版本：5.3.0 | 变量名 | 修改类型 | 描述 | | :---------- | :----------- | :----------- | -| [tidb_enable_noop_functions](/system-variables.md#tidb_enable_noop_functions-从-v40-版本开始引入) | 修改 | 此变量的控制范围不再包括 `CREATE TEMPORARY TABLE` 和 `DROP TEMPORARY TABLE` 行为。 | +| [tidb_enable_noop_functions](/system-variables.md#tidb_enable_noop_functions-从-v40-版本开始引入) | 修改 | 由于 TiDB 5.3 支持临时表，此变量的控制范围不再包括 `CREATE TEMPORARY TABLE` 和 `DROP TEMPORARY TABLE` 行为。 | | [`tidb_enable_pseudo_for_outdated_stats`](/system-variables.md#tidb_enable_pseudo_for_outdated_stats-从-v530-版本开始引入) | 新增 | 此变量用于控制优化器在一张表上的统计信息过期时的行为。默认值为 `ON`，当表数据被修改的行数大于该表总行数的 80% （该比例可通过 [`pseudo-estimate-ratio`](/tidb-configuration-file.md#pseudo-estimate-ratio) 配置项调整） 时，优化器认为该表上除总行数以外的统计信息不再可靠，转而使用 pseudo 统计信息。将该变量值设为 `OFF` 后，即使统计信息过期，优化器也仍会使用该表上的统计信息。| |[`tidb_enable_tso_follower_proxy`](/system-variables.md#tidb_enable_tso_follower_proxy-从-v53-版本开始引入) | 新增 | 此变量用于开启或关闭 TSO Follower Proxy 特性。默认值为 `OFF`，代表关闭 TSO Follower Proxy 特性。此时，TiDB 仅会从 PD leader 获取 TSO。当开启该特性之后，TiDB 在获取 TSO 时会将请求均匀地发送到所有 PD 节点上，通过 PD follower 转发 TSO 请求，从而降低 PD leader 的 CPU 压力。 | |[`tidb_tso_client_batch_max_wait_time`](/system-variables.md#tidb_tso_client_batch_max_wait_time-从-v53-版本开始引入) | 新增 | 此变量用于设置 TiDB 向 PD 请求 TSO 时进行一次攒批操作的最大等待时长。默认值为 `0`，即不进行额外的等待。 | From 24e71e2e0171200434ae809cf1403055f01b1511 Mon Sep 17 00:00:00 2001 From: shichun-0415 <89768198+shichun-0415@users.noreply.github.com> Date: Mon, 22 Nov 2021 14:02:38 +0800 Subject: [PATCH 63/78] Update releases/release-5.3.0.md Co-authored-by: TomShawn <41534398+TomShawn@users.noreply.github.com> --- releases/release-5.3.0.md | 3 ++- 1 file changed, 2 insertions(+), 1 deletion(-) diff --git a/releases/release-5.3.0.md b/releases/release-5.3.0.md index c80865a46c66..22d6a83d7e3c 100644 --- a/releases/release-5.3.0.md +++ b/releases/release-5.3.0.md @@ -42,7 +42,8 @@ TiDB 版本：5.3.0 | :---------- | :----------- | :----------- | :----------- | | TiDB | [`prepared-plan-cache.capacity`](/tidb-configuration-file.md#capacity) | 修改 | 此配置项用于控制缓存语句的数量。默认值从 `100` 修改为 `1000`。 | | TiKV | [`storage.reserve-space`](/tikv-configuration-file.md#reserve-space) | 修改 | 此配置项用于控制 TiKV 启动时用于保护磁盘的预留空间。从 v5.3.0 起，预留空间的 80% 用作磁盘空间不足时运维操作所需要的额外磁盘空间，剩余的 20% 为磁盘临时文件。 | -| TiKV | memory-usage-limit | 修改 | 以前的版本没有 memory-usage-limit 参数， 升级后该参数值根据 storage.block-cache.capacity 来计算。 | +| TiKV | `memory-usage-limit` | 修改 | 以前的版本没有 memory-usage-limit 参数， 升级后该参数值根据 storage.block-cache.capacity 来计算。 | +| TiKV | `raftstore.raft-reject-transfer-leader-duration` | 删除 | 控制迁移 leader 到新加节点的最小时间。| | PD | [`log.file.max-days`](/pd-configuration-file.md#max-days) | 修改 | 此配置项用于控制日志保留的最长天数。默认值从 `1` 修改为 `0`。 | | PD | [`log.file.max-backups`](/pd-configuration-file.md#max-backups) | 修改 | 此配置项用于控制日志文件保留的最大个数。默认值从 `7` 修改为 `0`。 | | PD | [`patrol-region-interval`](/pd-configuration-file.md#patrol-region-interval) | 修改 | 此配置项用于控制 replicaChecker 检查 Region 健康状态的运行频率，越短则运行越快，通常状况不需要调整。默认值从 `100ms` 修改为 `10ms`。 | From ade42ca8227c9de586daa0f520c1e5d838d50e81 Mon Sep 17 00:00:00 2001 From: TomShawn <41534398+TomShawn@users.noreply.github.com> Date: Mon, 22 Nov 2021 14:56:32 +0800 Subject: [PATCH 64/78] add_pd_version --- pd-control.md | 2 +- pd-recover.md | 2 +- 2 files changed, 2 insertions(+), 2 deletions(-) diff --git a/pd-control.md b/pd-control.md index 2ed40310b69c..1ec9488f9069 100644 --- a/pd-control.md +++ b/pd-control.md @@ -27,7 +27,7 @@ PD Control 是 PD 的命令行工具，用于获取集群状态信息和调整 > **注意：** > -> 下载链接中的 `{version}` 为 TiDB 的版本号。例如 `v5.2.2` 版本的下载链接为 `https://download.pingcap.org/tidb-v5.2.2-linux-amd64.tar.gz`。 +> 下载链接中的 `{version}` 为 TiDB 的版本号。例如 `v5.3.0` 版本的下载链接为 `https://download.pingcap.org/tidb-v5.3.0-linux-amd64.tar.gz`。 ### 源码编译 diff --git a/pd-recover.md b/pd-recover.md index caad7262f395..e983a7737654 100644 --- a/pd-recover.md +++ b/pd-recover.md @@ -30,7 +30,7 @@ PD Recover 包含在 TiDB 安装包中。直接下载 TiDB 安装包即可获取 > **注意：** > -> `{version}` 是 TiDB 的版本号。例如，`v5.2.2` 的安装包下载链接为 `https://download.pingcap.org/tidb-v5.2.2-linux-amd64.tar.gz`。 +> `{version}` 是 TiDB 的版本号。例如，`v5.3.0` 的安装包下载链接为 `https://download.pingcap.org/tidb-v5.3.0-linux-amd64.tar.gz`。 ## 快速开始 From 249bb2cedd2e1385a16f07fb5cc5151f8ec764c6 Mon Sep 17 00:00:00 2001 From: TomShawn <41534398+TomShawn@users.noreply.github.com> Date: Mon, 22 Nov 2021 15:02:58 +0800 Subject: [PATCH 65/78] Apply suggestions from code review --- releases/release-5.3.0.md | 4 ++-- 1 file changed, 2 insertions(+), 2 deletions(-) diff --git a/releases/release-5.3.0.md b/releases/release-5.3.0.md index 22d6a83d7e3c..cb070fabeaef 100644 --- a/releases/release-5.3.0.md +++ b/releases/release-5.3.0.md @@ -57,7 +57,7 @@ TiDB 版本：5.3.0 - 对于本地临时表，如果在 v5.3.0 升级前创建了本地临时表，这些临时表实际为普通表，在升级至 v5.3.0 或更高版本后，也会被 TiDB 当成普通表处理。对于全局临时表，如果在 v5.3.0 上创建了全局临时表，当 TiDB 降级至 v5.3.0 以前版本后，这些临时表会被当作普通表处理，导致数据错误。 - TiCDC 和 BR 从 v5.3.0 开始支持[全局临时表](/temporary-tables.md#全局临时表)。如果使用 v5.3.0 以下版本同步全局临时表到下游，会导致表定义错误。 - 通过 TiDB 生态工具导入的集群、恢复后的集群、同步的下游集群必须是 TiDB v5.3.0 及以上版本，否则创建全局临时表时报错。 - - 关于临时表的更多兼容性信息，请参考 [与 MySQL 临时表的兼容性](/temporary-tables.md#与-mysql-临时表的兼容性)和[与其他 TiDB 功能的兼容性限制](/temporary-table.md#与其他-tidb-功能的兼容性限制)。 + - 关于临时表的更多兼容性信息，请参考 [与 MySQL 临时表的兼容性](/temporary-tables.md#与-mysql-临时表的兼容性)和[与其他 TiDB 功能的兼容性限制](/temporary-tables.md#与其他-tidb-功能的兼容性限制)。 - 修复 `SHOW CREATE VIEW` 不需要 `SHOW VIEW` 权限的问题，现在用户必须具有 `SHOW VIEW` 权限才允许执行 `SHOW CREATE VIEW` 语句。 - 系统变量 `sql_auto_is_null` 被加入 Noop Function 中，当 `tidb_enable_noop_functions = 0/OFF` 时，修改该变量会报错。 @@ -94,7 +94,7 @@ TiDB 版本：5.3.0 - 支持重名，用户无需为业务设计复杂的表命名规则。 - 提供会话级别的数据隔离，降低业务设计复杂度，会话结束后删除临时表。 - [用户文档](/temporary-table.md)，[#24169](https://github.com/pingcap/tidb/issues/24169) + [用户文档](/temporary-tables.md)，[#24169](https://github.com/pingcap/tidb/issues/24169) - **支持 `FOR UPDATE OF TABLES` 语法** From 86659577b0ca5d3ce9cbf23922ef3b4e7c2d36a1 Mon Sep 17 00:00:00 2001 From: TomShawn <41534398+TomShawn@users.noreply.github.com> Date: Mon, 22 Nov 2021 15:03:13 +0800 Subject: [PATCH 66/78] Update releases/release-5.3.0.md --- releases/release-5.3.0.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/releases/release-5.3.0.md b/releases/release-5.3.0.md index cb070fabeaef..725e3cbec3c5 100644 --- a/releases/release-5.3.0.md +++ b/releases/release-5.3.0.md @@ -4,7 +4,7 @@ title: TiDB 5.3 Release Notes # TiDB 5.3 Release Notes -发版日期：2021 年 11 月 23 日 +发版日期：2021 年 11 月 30 日 TiDB 版本：5.3.0 From 470824ea3437f4f17aeadbf5848fa2d32be5d289 Mon Sep 17 00:00:00 2001 From: TomShawn <41534398+TomShawn@users.noreply.github.com> Date: Mon, 22 Nov 2021 15:04:13 +0800 Subject: [PATCH 67/78] Update releases/release-5.3.0.md --- releases/release-5.3.0.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/releases/release-5.3.0.md b/releases/release-5.3.0.md index 725e3cbec3c5..e73f0ff1e507 100644 --- a/releases/release-5.3.0.md +++ b/releases/release-5.3.0.md @@ -180,7 +180,7 @@ TiDB 版本：5.3.0 TiDB Lightning 增加了执行前检查配置的功能。默认开启。该功能会自动进行一些磁盘空间和执行配置的常规检查，主要目的是确保后续的整个导入过程顺利。 - [用户文档](tidb-lightning/tidb-lightning-prechecks.md) + [用户文档](/tidb-lightning/tidb-lightning-prechecks.md) - **TiDB Lightning 支持导入 GBK 编码的文件** From 414cae1da6c81ca04e7bd6f5f8378cb0338196f9 Mon Sep 17 00:00:00 2001 From: qiancai Date: Tue, 23 Nov 2021 14:04:22 +0800 Subject: [PATCH 68/78] add_telemetry_updates --- releases/release-5.3.0.md | 5 +++++ 1 file changed, 5 insertions(+) diff --git a/releases/release-5.3.0.md b/releases/release-5.3.0.md index e73f0ff1e507..ee64fba78b59 100644 --- a/releases/release-5.3.0.md +++ b/releases/release-5.3.0.md @@ -237,6 +237,11 @@ TiDB 版本：5.3.0 [用户文档](/dashboard/continuous-profiling.md) +## 遥测 + +TiDB 在遥测中新增收集 <列出本次新增遥测内容>。 +若要了解所收集的信息详情及如何禁用该行为，请参见[遥测](/telemetry.md)文档。 + ## 移除功能 从 TiCDC v5.3.0 版本开始，TiDB 集群之间的环形同步功能（v5.0 实验特性）被移除。如果在升级 TiCDC 前已经使用过环形同步功能复制数据，升级后此部分数据的环形同步不受影响。 From e24fbc554bad8fae9005c72a7f05584553cd1f3e Mon Sep 17 00:00:00 2001 From: Grace Cai Date: Wed, 24 Nov 2021 09:59:21 +0800 Subject: [PATCH 69/78] Update releases/release-5.3.0.md Co-authored-by: FiatLux --- releases/release-5.3.0.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/releases/release-5.3.0.md b/releases/release-5.3.0.md index ee64fba78b59..0e30093fa5d3 100644 --- a/releases/release-5.3.0.md +++ b/releases/release-5.3.0.md @@ -239,7 +239,7 @@ TiDB 版本：5.3.0 ## 遥测 -TiDB 在遥测中新增收集 <列出本次新增遥测内容>。 +TiDB 在遥测中新增收集 TEMPORARY TABLE 功能的开启情况。 若要了解所收集的信息详情及如何禁用该行为，请参见[遥测](/telemetry.md)文档。 ## 移除功能 From 143bf7857b548ccb77c55f5cbc0ab469f80d3c2f Mon Sep 17 00:00:00 2001 From: qiancai Date: Wed, 24 Nov 2021 10:01:02 +0800 Subject: [PATCH 70/78] Update release-5.3.0.md --- releases/release-5.3.0.md | 1 + 1 file changed, 1 insertion(+) diff --git a/releases/release-5.3.0.md b/releases/release-5.3.0.md index 0e30093fa5d3..5279334cc300 100644 --- a/releases/release-5.3.0.md +++ b/releases/release-5.3.0.md @@ -240,6 +240,7 @@ TiDB 版本：5.3.0 ## 遥测 TiDB 在遥测中新增收集 TEMPORARY TABLE 功能的开启情况。 + 若要了解所收集的信息详情及如何禁用该行为，请参见[遥测](/telemetry.md)文档。 ## 移除功能 From 665f31d1f56c96f53f26e036f0b00dd346f3e1aa Mon Sep 17 00:00:00 2001 From: Enwei Date: Thu, 25 Nov 2021 07:36:04 +0100 Subject: [PATCH 71/78] Apply suggestions from code review Co-authored-by: Connor --- releases/release-5.3.0.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/releases/release-5.3.0.md b/releases/release-5.3.0.md index 5279334cc300..a854c6c97b9e 100644 --- a/releases/release-5.3.0.md +++ b/releases/release-5.3.0.md @@ -144,7 +144,7 @@ TiDB 版本：5.3.0 - **支持多节点永久损坏后的在线有损恢复（实验特性）** - 新增对 `unsafe remove-failed-stores` 命令的支持，实现数据有损恢复。当多数副本发生了永久性损坏（如磁盘损坏）等问题，导致无法在业务层读写一段数据时，PD 可以执行在线数据恢复，使该数据恢复至可读写状态。 + 新增对 `pd-ctl unsafe remove-failed-stores` 命令的支持，实现在线数据有损恢复。当多数副本发生了永久性损坏（如磁盘损坏）等问题，导致无法在业务层读写一段数据时，PD 可以执行在线数据恢复，使该数据恢复至可读写状态。 进行该功能相关操作时，建议在 TiDB 团队支持下完成。 From aac13184c1a5f5ce824049438152891d13b14399 Mon Sep 17 00:00:00 2001 From: xixirangrang Date: Thu, 25 Nov 2021 15:22:46 +0800 Subject: [PATCH 72/78] Update releases/release-5.3.0.md --- releases/release-5.3.0.md | 1 - 1 file changed, 1 deletion(-) diff --git a/releases/release-5.3.0.md b/releases/release-5.3.0.md index a854c6c97b9e..b6c77523d62b 100644 --- a/releases/release-5.3.0.md +++ b/releases/release-5.3.0.md @@ -173,7 +173,6 @@ TiDB 版本：5.3.0 经测试，使用 10 台 TiDB Lightning，20 TB 规模的 MySQL 数据可以在 8 小时内导入到 TiDB，单台 TiDB Lightning 可以支持 250 GB/s 的导入速度，整体效率提升了 8 倍。 - [用户文档](/tidb-lightning/tidb-lightning-distributed-import.md) - **TiDB Lightning 执行任务前的检查项** From cecabc526bb7c7dc7895f60de0db019c27f6b1a6 Mon Sep 17 00:00:00 2001 From: TomShawn <41534398+TomShawn@users.noreply.github.com> Date: Thu, 25 Nov 2021 15:48:59 +0800 Subject: [PATCH 73/78] Update TOC.md --- TOC.md | 4 ++-- 1 file changed, 2 insertions(+), 2 deletions(-) diff --git a/TOC.md b/TOC.md index 4d2e7c1c79c7..4ccd658453dd 100644 --- a/TOC.md +++ b/TOC.md @@ -34,8 +34,8 @@ - [在 Kubernetes 上部署](https://docs.pingcap.com/zh/tidb-in-kubernetes/stable) - [验证集群状态](/post-installation-check.md) - 测试集群性能 - - [用 Sysbench 测试 TiDB](/benchmark/benchmark-tidb-using-sysbench.md) - - [对 TiDB 进行 TPC-C 测试](/benchmark/benchmark-tidb-using-tpcc.md) + - [用 Sysbench 测试 TiDB](/benchmark/benchmark-tidb-using-sysbench.md) + - [对 TiDB 进行 TPC-C 测试](/benchmark/benchmark-tidb-using-tpcc.md) - 数据迁移 - [数据迁移场景](/migration-overview.md) - [迁移工具](/migration-tools.md) From ea33faa51ec794175cb708065dda38d5633b66ad Mon Sep 17 00:00:00 2001 From: Grace Cai Date: Mon, 29 Nov 2021 10:15:59 +0800 Subject: [PATCH 74/78] Apply suggestions from code review Co-authored-by: TomShawn <41534398+TomShawn@users.noreply.github.com> Co-authored-by: FiatLux Co-authored-by: Connor --- releases/release-5.3.0.md | 12 +++++++++--- 1 file changed, 9 insertions(+), 3 deletions(-) diff --git a/releases/release-5.3.0.md b/releases/release-5.3.0.md index b6c77523d62b..76912b2f33cc 100644 --- a/releases/release-5.3.0.md +++ b/releases/release-5.3.0.md @@ -43,6 +43,10 @@ TiDB 版本：5.3.0 | TiDB | [`prepared-plan-cache.capacity`](/tidb-configuration-file.md#capacity) | 修改 | 此配置项用于控制缓存语句的数量。默认值从 `100` 修改为 `1000`。 | | TiKV | [`storage.reserve-space`](/tikv-configuration-file.md#reserve-space) | 修改 | 此配置项用于控制 TiKV 启动时用于保护磁盘的预留空间。从 v5.3.0 起，预留空间的 80% 用作磁盘空间不足时运维操作所需要的额外磁盘空间，剩余的 20% 为磁盘临时文件。 | | TiKV | `memory-usage-limit` | 修改 | 以前的版本没有 memory-usage-limit 参数， 升级后该参数值根据 storage.block-cache.capacity 来计算。 | +| TiKV | `raftstore.store-pool-size` | 含义更改 | v5.3 以前，为 Raft 的线程池中处理消息的线程数量。自 v5.3 起，表示 Raftstore 线程池中执行 CPU 任务的线程数量。| +| TiKV | `raftstore.store-io-pool-size` | 新增 | 表示处理 Raft I/O 任务的线程池中线程的数量，即 StoreWriter 线程池的大小。| +| TiKV | `raftstore.raft-write-size-limit` | 新增 | 触发 Raft 数据写入的阈值。当数据大小超过该配置项值，数据会被写入磁盘。当 `raftstore.store-io-pool-size` 的值为 `0` 时，该配置项不生效。| +| TiKV | `raftstore.raft-msg-flush-interval` | 新增 | Raft 消息攒批发出的间隔时间。每隔该配置项指定的间隔，Raft 消息会攒批发出。当 `raftstore.store-io-pool-size` 的值为 `0` 时，该配置项不生效。| | TiKV | `raftstore.raft-reject-transfer-leader-duration` | 删除 | 控制迁移 leader 到新加节点的最小时间。| | PD | [`log.file.max-days`](/pd-configuration-file.md#max-days) | 修改 | 此配置项用于控制日志保留的最长天数。默认值从 `1` 修改为 `0`。 | | PD | [`log.file.max-backups`](/pd-configuration-file.md#max-backups) | 修改 | 此配置项用于控制日志文件保留的最大个数。默认值从 `7` 修改为 `0`。 | @@ -59,6 +63,7 @@ TiDB 版本：5.3.0 - 通过 TiDB 生态工具导入的集群、恢复后的集群、同步的下游集群必须是 TiDB v5.3.0 及以上版本，否则创建全局临时表时报错。 - 关于临时表的更多兼容性信息，请参考 [与 MySQL 临时表的兼容性](/temporary-tables.md#与-mysql-临时表的兼容性)和[与其他 TiDB 功能的兼容性限制](/temporary-tables.md#与其他-tidb-功能的兼容性限制)。 +- 对于 v5.3.0 之前的版本，当系统变量设置为非法值时，TiDB 会报错。从 v5.3.0 起，当系统变量设置为非法值时，TiDB 会返回成功，并报类似 “|Warning | 1292 | Truncated incorrect xxx: 'xx'” 的警告。 - 修复 `SHOW CREATE VIEW` 不需要 `SHOW VIEW` 权限的问题，现在用户必须具有 `SHOW VIEW` 权限才允许执行 `SHOW CREATE VIEW` 语句。 - 系统变量 `sql_auto_is_null` 被加入 Noop Function 中，当 `tidb_enable_noop_functions = 0/OFF` 时，修改该变量会报错。 - 不再允许执行 `GRANT ALL ON performance_schema.*` 语法，在 TiDB 上执行该语句会报错。 @@ -218,9 +223,9 @@ TiDB 版本：5.3.0 [用户文档](/ticdc/manage-ticdc.md) - **TiCDC 支持 HTTP 协议 OpenAPI 对 TiCDC 任务进行管理** +- **TiCDC 支持 HTTP 协议 OpenAPI 对 TiCDC 任务进行管理** - 从 TiDB v5.2.0 起，TiCDC 提供的 OpenAPI 功能成为正式特性，用户可通过 OpenAPI 对 TiCDC 集群进行查询和运维操作。 + 从 TiDB v5.3.0 起，TiCDC 提供的 OpenAPI 功能成为正式特性，用户可通过 OpenAPI 对 TiCDC 集群进行查询和运维操作。 [用户文档](/ticdc/ticdc-open-api.md) @@ -238,7 +243,7 @@ TiDB 版本：5.3.0 ## 遥测 -TiDB 在遥测中新增收集 TEMPORARY TABLE 功能的开启情况。 +TiDB 在遥测中新增收集 TEMPORARY TABLE 功能的开启情况。收集的数据中不包含任何实际业务的表名或表数据。 若要了解所收集的信息详情及如何禁用该行为，请参见[遥测](/telemetry.md)文档。 @@ -355,6 +360,7 @@ TiDB 在遥测中新增收集 TEMPORARY TABLE 功能的开启情况。 - 修复当处理 Coprocessor 请求时因超时而导致 panic 的问题 [#10852](https://github.com/tikv/tikv/issues/10852) - 修复因统计线程监控数据导致的内存泄漏 [#11195](https://github.com/tikv/tikv/issues/11195) - 修复在某些平台获取 cgroup 信息导致 panic 的问题 [#10980](https://github.com/tikv/tikv/pull/10980) + - 修复 Compaction Filter GC 无法清除 MVCC Deletion 版本导致 scan 性能下降的问题 [#11248](https://github.com/tikv/tikv/pull/11248) + PD - 修复因超过副本配置数量而导致错误删除带有数据且处于 pending 状态的副本的问题 [#4045](https://github.com/tikv/pd/issues/4045) From 9eba218cab909164ea2b8ad3e2d1f7c8ba33effb Mon Sep 17 00:00:00 2001 From: Grace Cai Date: Mon, 29 Nov 2021 10:18:26 +0800 Subject: [PATCH 75/78] Update releases/release-timeline.md Co-authored-by: TomShawn <41534398+TomShawn@users.noreply.github.com> --- releases/release-timeline.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/releases/release-timeline.md b/releases/release-timeline.md index f0ad092713fe..2487978c6260 100644 --- a/releases/release-timeline.md +++ b/releases/release-timeline.md @@ -9,7 +9,7 @@ summary: 了解 TiDB 的版本发布时间线。 | 版本 | 发布日期 | | :--- | :--- | -| [5.3.0](/releases/release-5.3.0.md) | 2021-11-23 | +| [5.3.0](/releases/release-5.3.0.md) | 2021-11-30 | | [5.2.2](/releases/release-5.2.2.md) | 2021-10-29 | | [5.1.2](/releases/release-5.1.2.md) | 2021-09-27 | | [5.0.4](/releases/release-5.0.4.md) | 2021-09-27 | From b73a483403d9c7cdc25831cd21cf108a2a16f39c Mon Sep 17 00:00:00 2001 From: qiancai Date: Mon, 29 Nov 2021 11:23:13 +0800 Subject: [PATCH 76/78] add_indent --- releases/release-5.3.0.md | 4 ++-- 1 file changed, 2 insertions(+), 2 deletions(-) diff --git a/releases/release-5.3.0.md b/releases/release-5.3.0.md index 76912b2f33cc..54221e87f2c4 100644 --- a/releases/release-5.3.0.md +++ b/releases/release-5.3.0.md @@ -176,7 +176,7 @@ TiDB 版本：5.3.0 TiDB Lightning 支持用户同时部署多个 Lightning，并行地将单表或者多表数据迁移 TiDB。该功能无需特别的配置，在不改变用户使用习惯的同时，极大提高了用户的数据迁移能力，助力大数据量业务架构升级，在生产环境使用 TiDB。 -经测试，使用 10 台 TiDB Lightning，20 TB 规模的 MySQL 数据可以在 8 小时内导入到 TiDB，单台 TiDB Lightning 可以支持 250 GB/s 的导入速度，整体效率提升了 8 倍。 + 经测试，使用 10 台 TiDB Lightning，20 TB 规模的 MySQL 数据可以在 8 小时内导入到 TiDB，单台 TiDB Lightning 可以支持 250 GB/s 的导入速度，整体效率提升了 8 倍。 [用户文档](/tidb-lightning/tidb-lightning-distributed-import.md) @@ -188,7 +188,7 @@ TiDB 版本：5.3.0 - **TiDB Lightning 支持导入 GBK 编码的文件** -通过指定源数据文件的字符集，TiDB Lightning 会在导入过程中将源文件从指定的字符集转换为 UTF-8 编码。 + 通过指定源数据文件的字符集，TiDB Lightning 会在导入过程中将源文件从指定的字符集转换为 UTF-8 编码。 [用户文档](/tidb-lightning/tidb-lightning-configuration.md) From 330bfdcf638590f23b10def5762a12713832832a Mon Sep 17 00:00:00 2001 From: TomShawn <41534398+TomShawn@users.noreply.github.com> Date: Mon, 29 Nov 2021 17:59:40 +0800 Subject: [PATCH 77/78] Update releases/release-5.3.0.md Co-authored-by: Enwei --- releases/release-5.3.0.md | 1 - 1 file changed, 1 deletion(-) diff --git a/releases/release-5.3.0.md b/releases/release-5.3.0.md index 54221e87f2c4..eb7063711aac 100644 --- a/releases/release-5.3.0.md +++ b/releases/release-5.3.0.md @@ -43,7 +43,6 @@ TiDB 版本：5.3.0 | TiDB | [`prepared-plan-cache.capacity`](/tidb-configuration-file.md#capacity) | 修改 | 此配置项用于控制缓存语句的数量。默认值从 `100` 修改为 `1000`。 | | TiKV | [`storage.reserve-space`](/tikv-configuration-file.md#reserve-space) | 修改 | 此配置项用于控制 TiKV 启动时用于保护磁盘的预留空间。从 v5.3.0 起，预留空间的 80% 用作磁盘空间不足时运维操作所需要的额外磁盘空间，剩余的 20% 为磁盘临时文件。 | | TiKV | `memory-usage-limit` | 修改 | 以前的版本没有 memory-usage-limit 参数， 升级后该参数值根据 storage.block-cache.capacity 来计算。 | -| TiKV | `raftstore.store-pool-size` | 含义更改 | v5.3 以前，为 Raft 的线程池中处理消息的线程数量。自 v5.3 起，表示 Raftstore 线程池中执行 CPU 任务的线程数量。| | TiKV | `raftstore.store-io-pool-size` | 新增 | 表示处理 Raft I/O 任务的线程池中线程的数量，即 StoreWriter 线程池的大小。| | TiKV | `raftstore.raft-write-size-limit` | 新增 | 触发 Raft 数据写入的阈值。当数据大小超过该配置项值，数据会被写入磁盘。当 `raftstore.store-io-pool-size` 的值为 `0` 时，该配置项不生效。| | TiKV | `raftstore.raft-msg-flush-interval` | 新增 | Raft 消息攒批发出的间隔时间。每隔该配置项指定的间隔，Raft 消息会攒批发出。当 `raftstore.store-io-pool-size` 的值为 `0` 时，该配置项不生效。| From 6fe3ef4ac0aad542142330785324cc903e594234 Mon Sep 17 00:00:00 2001 From: qiancai Date: Mon, 29 Nov 2021 20:08:58 +0800 Subject: [PATCH 78/78] Update TOC.md --- TOC.md | 1 + 1 file changed, 1 insertion(+) diff --git a/TOC.md b/TOC.md index a3ce2ef16b24..be9715128a40 100644 --- a/TOC.md +++ b/TOC.md @@ -172,6 +172,7 @@ - [表库过滤](/table-filter.md) - [CSV 支持](/tidb-lightning/migrate-from-csv-using-tidb-lightning.md) - [TiDB Lightning 后端](/tidb-lightning/tidb-lightning-backends.md) + - [并行导入](/tidb-lightning/tidb-lightning-distributed-import.md) - [Web 界面](/tidb-lightning/tidb-lightning-web-interface.md) - [快速上手教程](/get-started-with-tidb-lightning.md) - [执行任务前的检查项](/tidb-lightning/tidb-lightning-prechecks.md)