From 41f23337d046757e3ba010b35d84de1635084f95 Mon Sep 17 00:00:00 2001 From: WangXiangUSTC Date: Sun, 24 May 2020 17:04:30 +0800 Subject: [PATCH 1/8] add data migration route --- TOC.md | 2 +- data-migration-route.md | 23 +++++++++++++++++++++++ 2 files changed, 24 insertions(+), 1 deletion(-) create mode 100644 data-migration-route.md diff --git a/TOC.md b/TOC.md index ae86b9e06f79..8dede5893694 100644 --- a/TOC.md +++ b/TOC.md @@ -58,7 +58,7 @@ + [TPC-C 性能对比 - v3.0 对比 v2.1](/benchmark/v3.0-performance-benchmarking-with-tpcc.md) + [线上负载与 ADD INDEX 相互影响测试](/benchmark/online-workloads-and-add-index-operations.md) + 数据迁移 - + [支持的迁移路径](/ecosystem-tool-user-guide.md) @王相 + + [支持的迁移路径](/data-migration-route.md) + 从 MySQL 迁移至 TiDB + [从 CSV 文件迁移](/migrate-from-mysql-csv-files.md) @栾成 + [从 Mydumper 文件迁移](/migrate-from-mysql-mydumper-files.md) @栾成 diff --git a/data-migration-route.md b/data-migration-route.md new file mode 100644 index 000000000000..c042a070cb34 --- /dev/null +++ b/data-migration-route.md @@ -0,0 +1,23 @@ +--- +title: 支持的迁移路径 +summary: 本文档介绍支持哪些路径将数据迁移到 TiDB +category: reference +--- + +# 支持的迁移路径 + +本文档介绍支持哪些路径将数据迁移到 TiDB。 + +## 从 MySQL 迁移到 TiDB + +### 使用 Mydumper 和 TiDB Lightning 迁移全量数据 + +可以使用 Mydumper 导出 MySQL 的全量数据，再使用 TiDB Lightning 将全量数据导入到 TiDB，详细信息请参考：[从 Mydumper 文件迁移](/migrate-from-mysql-mydumper-files.md) + +### 使用 TiDB DM（Data Migration）迁移数据 + +TiDB DM 支持将 MySQL 全量数据迁移到 TiDB，并同步 MySQL 的增量数据到 TiDB，详细信息请参考：[使用 DM 工具从 Amazon Aurora MySQL 迁移](/migrate-from-aurora-mysql-database.md) + +## 从 CSV 文件迁移到 TiDB + +可以使用 TiDB Lightning 将 CSV 格式的数据迁移到 TiDB，详细信息请参考：[从 CSV 文件迁移至 TiDB](/tidb-lightning/migrate-from-csv-using-tidb-lightning.md) \ No newline at end of file From 53067acc3a917940dede01987fbb196b8d65b75d Mon Sep 17 00:00:00 2001 From: WangXiangUSTC Date: Sun, 24 May 2020 17:10:55 +0800 Subject: [PATCH 2/8] update TOC --- TOC.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/TOC.md b/TOC.md index 8dede5893694..35079d1b7c39 100644 --- a/TOC.md +++ b/TOC.md @@ -62,7 +62,7 @@ + 从 MySQL 迁移至 TiDB + [从 CSV 文件迁移](/migrate-from-mysql-csv-files.md) @栾成 + [从 Mydumper 文件迁移](/migrate-from-mysql-mydumper-files.md) @栾成 - + [使用 DM 工具从 Amazon Aurora MySQL 迁移](/migrate-from-aurora-mysql-database.md) @张学成，王相 + + [使用 DM 工具从 Amazon Aurora MySQL 迁移](/migrate-from-aurora-mysql-database.md) + [从 CSV 文件迁移至 TiDB](/tidb-lightning/migrate-from-csv-using-tidb-lightning.md) @王相 + 运维操作 + 升级 TiDB 版本 From 3a2646741009eaee9172dbdd8f602ae6c550d4ad Mon Sep 17 00:00:00 2001 From: WangXiangUSTC Date: Mon, 25 May 2020 12:13:42 +0800 Subject: [PATCH 3/8] update toc --- TOC.md | 1 - 1 file changed, 1 deletion(-) diff --git a/TOC.md b/TOC.md index 35079d1b7c39..2afca11a2a7e 100644 --- a/TOC.md +++ b/TOC.md @@ -60,7 +60,6 @@ + 数据迁移 + [支持的迁移路径](/data-migration-route.md) + 从 MySQL 迁移至 TiDB - + [从 CSV 文件迁移](/migrate-from-mysql-csv-files.md) @栾成 + [从 Mydumper 文件迁移](/migrate-from-mysql-mydumper-files.md) @栾成 + [使用 DM 工具从 Amazon Aurora MySQL 迁移](/migrate-from-aurora-mysql-database.md) + [从 CSV 文件迁移至 TiDB](/tidb-lightning/migrate-from-csv-using-tidb-lightning.md) @王相 From 4aa0f0923223c6b7ab5cd56f4b243c877cc410f3 Mon Sep 17 00:00:00 2001 From: WangXiangUSTC Date: Mon, 25 May 2020 14:15:03 +0800 Subject: [PATCH 4/8] add scenario --- data-migration-route.md | 24 ++++++++++++++++++++++-- 1 file changed, 22 insertions(+), 2 deletions(-) diff --git a/data-migration-route.md b/data-migration-route.md index c042a070cb34..bcbb50dedf65 100644 --- a/data-migration-route.md +++ b/data-migration-route.md @@ -10,14 +10,34 @@ category: reference ## 从 MySQL 迁移到 TiDB +目前推荐使用以下两种方式将 MySQL 数据迁移到 TiDB。 + ### 使用 Mydumper 和 TiDB Lightning 迁移全量数据 -可以使用 Mydumper 导出 MySQL 的全量数据，再使用 TiDB Lightning 将全量数据导入到 TiDB，详细信息请参考：[从 Mydumper 文件迁移](/migrate-from-mysql-mydumper-files.md) +#### 适合场景 + +适合 MySQL 全量数据的大小大于 1TB 的场景。该方案只能迁移全量数据，如果需要继续同步增量数据，需要再使用 DM 创建增量同步任务。 + +#### 迁移方法 + +使用 Mydumper 导出 MySQL 的全量数据，再使用 TiDB Lightning 将全量数据导入到 TiDB，详细信息请参考：[从 Mydumper 文件迁移](/migrate-from-mysql-mydumper-files.md) ### 使用 TiDB DM（Data Migration）迁移数据 +#### 适合场景 + +适合迁移 MySQL 全量数据并同步增量数据的场景，且全量数据的大小小于 1TB。如果全量数据的大小大于 1TB，建议使用 Mydumper 和 TiDB Lightning 导入全量数据后，再使用 DM 同步增量数据。 + +#### 迁移方法 + TiDB DM 支持将 MySQL 全量数据迁移到 TiDB，并同步 MySQL 的增量数据到 TiDB，详细信息请参考：[使用 DM 工具从 Amazon Aurora MySQL 迁移](/migrate-from-aurora-mysql-database.md) ## 从 CSV 文件迁移到 TiDB -可以使用 TiDB Lightning 将 CSV 格式的数据迁移到 TiDB，详细信息请参考：[从 CSV 文件迁移至 TiDB](/tidb-lightning/migrate-from-csv-using-tidb-lightning.md) \ No newline at end of file +### 适合场景 + +适合将不兼容 MySQL 协议的异构数据库的数据迁移到 TiDB。 + +### 迁移方法 + +将全量数据导出到 CSV 格式的文件中，再使用 TiDB Lightning 将 CSV 格式的数据迁移到 TiDB，详细信息请参考：[从 CSV 文件迁移至 TiDB](/tidb-lightning/migrate-from-csv-using-tidb-lightning.md) \ No newline at end of file From 505b4a9f77b6a8e1ca86bb3825dc2aa5cee86f6a Mon Sep 17 00:00:00 2001 From: WangXiangUSTC Date: Tue, 26 May 2020 15:00:00 +0800 Subject: [PATCH 5/8] Apply suggestions from code review Co-authored-by: toutdesuite --- data-migration-route.md | 14 +++++++------- 1 file changed, 7 insertions(+), 7 deletions(-) diff --git a/data-migration-route.md b/data-migration-route.md index bcbb50dedf65..eb656730ea82 100644 --- a/data-migration-route.md +++ b/data-migration-route.md @@ -1,12 +1,12 @@ --- title: 支持的迁移路径 -summary: 本文档介绍支持哪些路径将数据迁移到 TiDB +summary: 本文档介绍支持哪些路径将数据迁移到 TiDB。 category: reference --- # 支持的迁移路径 -本文档介绍支持哪些路径将数据迁移到 TiDB。 +本文档介绍支持从哪些路径将数据迁移到 TiDB，包括从 MySQL 迁移到 TiDB 和从 CSV 文件迁移到 TiDB。 ## 从 MySQL 迁移到 TiDB @@ -16,13 +16,13 @@ category: reference #### 适合场景 -适合 MySQL 全量数据的大小大于 1TB 的场景。该方案只能迁移全量数据，如果需要继续同步增量数据，需要再使用 DM 创建增量同步任务。 +适合 MySQL 全量数据的大小大于 1TB 的场景。该方案只能迁移全量数据，如果需要继续同步增量数据，需要再使用 TiDB Data Migration（DM）创建增量同步任务。 #### 迁移方法 -使用 Mydumper 导出 MySQL 的全量数据，再使用 TiDB Lightning 将全量数据导入到 TiDB，详细信息请参考：[从 Mydumper 文件迁移](/migrate-from-mysql-mydumper-files.md) +使用 Mydumper 导出 MySQL 的全量数据，再使用 TiDB Lightning 将全量数据导入到 TiDB，详细信息可参考[从 Mydumper 文件迁移](/migrate-from-mysql-mydumper-files.md) -### 使用 TiDB DM（Data Migration）迁移数据 +### 使用 DM 迁移数据 #### 适合场景 @@ -30,7 +30,7 @@ category: reference #### 迁移方法 -TiDB DM 支持将 MySQL 全量数据迁移到 TiDB，并同步 MySQL 的增量数据到 TiDB，详细信息请参考：[使用 DM 工具从 Amazon Aurora MySQL 迁移](/migrate-from-aurora-mysql-database.md) +DM 支持将 MySQL 全量数据迁移到 TiDB，并同步 MySQL 的增量数据到 TiDB，详细信息可参考[使用 DM 工具从 Amazon Aurora MySQL 迁移](/migrate-from-aurora-mysql-database.md) ## 从 CSV 文件迁移到 TiDB @@ -40,4 +40,4 @@ TiDB DM 支持将 MySQL 全量数据迁移到 TiDB，并同步 MySQL 的增量 ### 迁移方法 -将全量数据导出到 CSV 格式的文件中，再使用 TiDB Lightning 将 CSV 格式的数据迁移到 TiDB，详细信息请参考：[从 CSV 文件迁移至 TiDB](/tidb-lightning/migrate-from-csv-using-tidb-lightning.md) \ No newline at end of file +将全量数据导出到 CSV 格式的文件中，再使用 TiDB Lightning 将 CSV 格式的数据迁移到 TiDB，详细信息可参考[从 CSV 文件迁移至 TiDB](/tidb-lightning/migrate-from-csv-using-tidb-lightning.md) From efba8f707144b068bc90ccf67b0cc72776c45ea7 Mon Sep 17 00:00:00 2001 From: Keke Yi <40977455+yikeke@users.noreply.github.com> Date: Tue, 26 May 2020 15:24:04 +0800 Subject: [PATCH 6/8] Update data-migration-route.md --- data-migration-route.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/data-migration-route.md b/data-migration-route.md index eb656730ea82..996664aeb302 100644 --- a/data-migration-route.md +++ b/data-migration-route.md @@ -16,7 +16,7 @@ category: reference #### 适合场景 -适合 MySQL 全量数据的大小大于 1TB 的场景。该方案只能迁移全量数据，如果需要继续同步增量数据，需要再使用 TiDB Data Migration（DM）创建增量同步任务。 +适合 MySQL 全量数据的大小大于 1TB 的场景。该方案只能迁移全量数据，如果需要继续同步增量数据，需要再使用 TiDB Data Migration (DM) 创建增量同步任务。 #### 迁移方法 From 0d708344cc981f9976bc5ecc404495ab6dbb062d Mon Sep 17 00:00:00 2001 From: WangXiangUSTC Date: Tue, 26 May 2020 15:25:30 +0800 Subject: [PATCH 7/8] Apply suggestions from code review Co-authored-by: Keke Yi <40977455+yikeke@users.noreply.github.com> --- TOC.md | 2 +- data-migration-route.md | 7 +++++-- 2 files changed, 6 insertions(+), 3 deletions(-) diff --git a/TOC.md b/TOC.md index 71e5e2246639..83a5c375d9de 100644 --- a/TOC.md +++ b/TOC.md @@ -55,7 +55,7 @@ + [TPC-C 性能对比 - v3.0 对比 v2.1](/benchmark/v3.0-performance-benchmarking-with-tpcc.md) + [线上负载与 ADD INDEX 相互影响测试](/benchmark/online-workloads-and-add-index-operations.md) + 数据迁移 - + [支持的迁移路径](/data-migration-route.md) + + [支持的数据迁移路径](/data-migration-route.md) + 从 MySQL 迁移至 TiDB + [从 Mydumper 文件迁移](/migrate-from-mysql-mydumper-files.md) @栾成 + [使用 DM 工具从 Amazon Aurora MySQL 迁移](/migrate-from-aurora-mysql-database.md) diff --git a/data-migration-route.md b/data-migration-route.md index 996664aeb302..3cc4777e4f67 100644 --- a/data-migration-route.md +++ b/data-migration-route.md @@ -1,10 +1,10 @@ --- -title: 支持的迁移路径 +title: 支持的数据迁移路径 summary: 本文档介绍支持哪些路径将数据迁移到 TiDB。 category: reference --- -# 支持的迁移路径 +# 支持的数据迁移路径 本文档介绍支持从哪些路径将数据迁移到 TiDB，包括从 MySQL 迁移到 TiDB 和从 CSV 文件迁移到 TiDB。 @@ -12,6 +12,9 @@ category: reference 目前推荐使用以下两种方式将 MySQL 数据迁移到 TiDB。 +- [使用 Mydumper 和 TiDB Lightning 迁移全量数据](#使用-mydumper-和-tidb-lightning-迁移全量数据) +- [使用 DM 迁移数据](#使用-dm-迁移数据) + ### 使用 Mydumper 和 TiDB Lightning 迁移全量数据 #### 适合场景 From e52ce51c422b50ca9d60b48400053347643cd59a Mon Sep 17 00:00:00 2001 From: yikeke Date: Tue, 26 May 2020 15:37:38 +0800 Subject: [PATCH 8/8] Delete migrate-from-mysql-csv-files.md --- migrate-from-mysql-csv-files.md | 0 1 file changed, 0 insertions(+), 0 deletions(-) delete mode 100644 migrate-from-mysql-csv-files.md diff --git a/migrate-from-mysql-csv-files.md b/migrate-from-mysql-csv-files.md deleted file mode 100644 index e69de29bb2d1..000000000000