*: replace loader by lightning by IANTHEREAL · Pull Request #2243 · pingcap/docs-cn

IANTHEREAL · 2020-02-14T02:47:17Z

What is changed, added or deleted?

we don't recommend to use loader any more in TiDB v3.0/3.1/.., and lightning will take place of loader

What is the related PR or file link(s)?

Reference link(s):
This PR is to align with:
N/A (not applicable)

Which TiDB version(s) does your changes apply to?

All active versions: dev, v3.0, v2.1, v3.1
dev (the latest development version)
v3.0 (TiDB 3.0 versions)
v2.1 (TiDB 2.1 versions)
v3.1 (TiDB 3.1 versions)
v4.0 (TiDB 4.0 versions)
All active and inactive versions
N/A (not applicable)

Note: If your changes apply to multiple TiDB versions, make sure you update the documents in the corresponding version folders such as "dev", "v3.0", "v2.1" and "v3.1" in this PR.

Updated one version first. Will update other versions after I get two LGTMs.

IANTHEREAL · 2020-02-14T03:57:51Z

@WangXiangUSTC @kennytm @liukun4515 PTAL

kissmydb · 2020-02-14T06:01:10Z

  + 运维
    - [Ansible 常见运维操作](/dev/how-to/maintain/ansible-operations.md)
    + 备份与恢复
-      - [使用 Mydumper/Loader 进行备份与恢复](/dev/how-to/maintain/backup-and-restore/mydumper-loader.md)


如果 lightning 完全可以代替 loader 的方式，loader 的文档可以去掉，否则建议保留 2 种

不会移除 loader，只是不在官方备份恢复推荐使用方案中。

kissmydb · 2020-02-14T06:01:32Z

    - [Ansible 常见运维操作](/dev/how-to/maintain/ansible-operations.md)
    + 备份与恢复
-      - [使用 Mydumper/Loader 进行备份与恢复](/dev/how-to/maintain/backup-and-restore/mydumper-loader.md)
+      - [使用 Mydumper/Loader 进行备份与恢复](/dev/how-to/maintain/backup-and-restore/mydumper-lightning.md)


Suggested change

- [使用 Mydumper/Loader 进行备份与恢复](/dev/how-to/maintain/backup-and-restore/mydumper-lightning.md)

- [使用 Mydumper/Lightning 进行备份与恢复](/dev/how-to/maintain/backup-and-restore/mydumper-lightning.md)

…into remove-loader

WangXiangUSTC

rest LGTM

WangXiangUSTC · 2020-02-14T06:54:02Z


-* 使用 Mydumper 导出来的数据文件尽可能的小，最好不要超过 64M，可以将参数 `-F` 设置为 64。
-* Loader的 `-t` 参数可以根据 TiKV 的实例个数以及负载进行评估调整，推荐设置为 32。当 TiKV 负载过高，Loader 以及 TiDB 日志中出现大量 `backoffer.maxSleep 15000ms is exceeded` 时，可以适当调小该值；当 TiKV 负载不是太高的时候，可以适当调大该值。
+* 使用 `mydumper` 导出来的数据文件尽可能的小, 可以通过设置参数 `-F` 来控制导出来的文件大小。如果后续使用  TiDB Lightning 对备份文件进行恢复，建议把 `mydumper` -F 参数的值设置为 `256`（单位 MB）；如果使用 `loader` 恢复，则建议设置为 `64`（单位 MB）。


这里要不要把 loader 删掉

这里可以留在这里，提及一下

WangXiangUSTC · 2020-02-14T06:54:20Z

+
+为了快速地备份恢复数据 (特别是数据量巨大的库)，可以参考以下建议：
+
+* 使用 `mydumper` 导出来的数据文件尽可能的小, 可以通过设置参数 `-F` 来控制导出来的文件大小。如果后续使用  TiDB Lightning 对备份文件进行恢复，建议把 `mydumper` -F 参数的值设置为 `256`（单位 MB）；如果使用 `loader` 恢复，则建议设置为 `64`（单位 MB）。


TomShawn

The same for v3.0 and v3.1.

TomShawn · 2020-02-14T08:44:15Z

+
+本文档将详细介绍如何使用 `mydumper`/`tidb lightning` 对 TiDB 进行全量备份与恢复。增量备份与恢复可使用 [TiDB Binlog](/dev/reference/tidb-binlog/overview.md)。
+
+这里我们假定 TiDB 服务信息如下：


Suggested change

这里我们假定 TiDB 服务信息如下：

这里假定 TiDB 的服务信息如下：

在技术文档中，应避免使用第一人称“我”、“我们”。

kennytm · 2020-02-14T09:37:33Z

+
+|Name|Address|Port|User|Password|
+|----|-------|----|----|--------|
+|TiDB|127.0.0.1|4000|root|*|


* = no password?

kennytm · 2020-02-14T09:38:06Z

+
+# 备份与恢复
+
+本文档将详细介绍如何使用 `mydumper`/`tidb lightning` 对 TiDB 进行全量备份与恢复。增量备份与恢复可使用 [TiDB Binlog](/dev/reference/tidb-binlog/overview.md)。


Either tidb-lightning (the exe name) or "TiDB Lightning" (the product name)

Co-Authored-By: kennytm <kennytm@gmail.com> Co-Authored-By: TomShawn <41534398+TomShawn@users.noreply.github.com>

TomShawn · 2020-02-14T13:02:13Z

+- [Mydumper](/dev/reference/tools/mydumper.md) 从 TiDB 导出数据
+- [TiDB Lightning](/dev/reference/tools/tidb-lightning/overview.md) 导入数据到 TiDB
+
+## 使用 `mydumper`/`TiDB Lightning` 全量备份恢复数据


TiDB Lightning 大写的话不用加反引号吧？

TomShawn · 2020-02-14T13:17:42Z

+- [Mydumper](/v3.1/reference/tools/mydumper.md) 从 TiDB 导出数据
+- [TiDB Lightning](/v3.1/reference/tools/tidb-lightning/overview.md) 导入数据到 TiDB
+
+## 使用 `mydumper`/`TiDB Lightning` 全量备份恢复数据


是否要统一一下，mydumper/TiDB Lightning 还是 mydumper/TiDB Lightning？

Co-Authored-By: TomShawn <41534398+TomShawn@users.noreply.github.com>

…into remove-loader

TomShawn

The same for v3.0 and v3.1.

TomShawn · 2020-02-14T15:49:57Z

+
+`-t 32` 表明使用 32 个线程去导出数据。`-F 256` 是将实际的 table 切分成多大的 chunk，这里就是 256MB 一个 chunk。
+
+`--skip-tz-utc` 添加这个参数忽略掉 TiDB 与导数据的机器之间时区设置不一致的情况，禁止自动转换。


原句几乎读不通。

TomShawn · 2020-02-14T15:50:51Z

+
+就再执行两步命令：
+
+1. 执行 `mydumper` 命令前，查询 TiDB 集群的 GC 值并使用 MySQL 客户端将其调整为合适的值。


读者可能不知道什么是 GC，这里最好能写全 Garbage Collection (GC)，或至少向用户读者提供可参考的页面。

TomShawn · 2020-02-14T15:51:58Z

+
+上面，我们使用 `-B test` 表明是对 `test` 这个 database 操作，然后用 `-T t1,t2` 表明只导出 `t1`，`t2` 两张表。
+
+`-t 32` 表明使用 32 个线程去导出数据。`-F 256` 是将实际的 table 切分成多大的 chunk，这里就是 256MB 一个 chunk。


切分成多大的 不是正式用语。

TomShawn · 2020-02-14T15:54:28Z

+
+本文档将详细介绍如何使用 `mydumper`/`tidb lightning` 对 TiDB 进行全量备份与恢复。增量备份与恢复可使用 [TiDB Binlog](/dev/reference/tidb-binlog/overview.md)。
+
+这里我们假定 TiDB 服务信息如下：


在技术文档中，应避免使用第一人称“我”、“我们”。

TomShawn

LGTM

IANTHEREAL and others added 3 commits February 14, 2020 10:25

replace lader by lightning

e0e55b2

fix link

a36a132

Merge branch 'master' into remove-loader

e1189c3

kissmydb reviewed Feb 14, 2020

View reviewed changes

TomShawn added dev translation/doing This PR’s assignee is translating this PR. size/large Changes of a large size. labels Feb 14, 2020

IANTHEREAL added 2 commits February 14, 2020 14:10

correct title

a1a0e93

Merge branch 'remove-loader' of https://github.com/GregoryIan/docs-cn …

f8e20e8

…into remove-loader

TomShawn changed the title ~~replace loader by lightning~~ *: replace loader by lightning Feb 14, 2020

WangXiangUSTC reviewed Feb 14, 2020

View reviewed changes

kissmydb approved these changes Feb 14, 2020

View reviewed changes

TomShawn reviewed Feb 14, 2020

View reviewed changes

kennytm reviewed Feb 14, 2020

View reviewed changes

IANTHEREAL and others added 3 commits February 14, 2020 20:16

Apply suggestions from code review

b8ef039

Co-Authored-By: kennytm <kennytm@gmail.com> Co-Authored-By: TomShawn <41534398+TomShawn@users.noreply.github.com>

correct tidb lightning

bff9b7e

correct words

c7d38b5

TomShawn reviewed Feb 14, 2020

View reviewed changes

IANTHEREAL and others added 6 commits February 14, 2020 21:53

Apply suggestions from code review

54bea92

Co-Authored-By: TomShawn <41534398+TomShawn@users.noreply.github.com>

remove some quotes

44c4055

Merge branch 'remove-loader' of https://github.com/GregoryIan/docs-cn …

78fe6cc

…into remove-loader

revert mydumper to Mydumper

e0552a2

remove some quotes

aa00b80

Merge branch 'master' into remove-loader

9519463

TomShawn reviewed Feb 14, 2020

View reviewed changes

maintain: fix typos

967173e

TomShawn approved these changes Feb 15, 2020

View reviewed changes

IANTHEREAL merged commit 67b3f8f into pingcap:master Feb 15, 2020

IANTHEREAL deleted the remove-loader branch February 15, 2020 04:10

yikeke assigned toutdesuite Feb 17, 2020

toutdesuite mentioned this pull request Mar 11, 2020

*: replace loader by lightning pingcap/docs#2001

Merged

4 tasks

toutdesuite added translation/done This PR has been translated from English into Chinese and updated to pingcap/docs-cn in a PR. and removed translation/doing This PR’s assignee is translating this PR. labels Mar 11, 2020

This was referenced Mar 17, 2020

tools: add a guide for choosing TiDB Ecosystem Tools (#1860) pingcap/docs#2035

Merged

*: replace loader by lightning (#2001) pingcap/docs#2040

Merged

toutdesuite mentioned this pull request Mar 18, 2020

*: replace loader by lightning for 3.0 pingcap/docs#2043

Merged

4 tasks

	- [使用 Mydumper/Loader 进行备份与恢复](/dev/how-to/maintain/backup-and-restore/mydumper-lightning.md)
	- [使用 Mydumper/Lightning 进行备份与恢复](/dev/how-to/maintain/backup-and-restore/mydumper-lightning.md)


		为了快速地备份恢复数据 (特别是数据量巨大的库)，可以参考以下建议：

		* 使用 `mydumper` 导出来的数据文件尽可能的小, 可以通过设置参数 `-F` 来控制导出来的文件大小。如果后续使用 TiDB Lightning 对备份文件进行恢复，建议把 `mydumper` -F 参数的值设置为 `256`（单位 MB）；如果使用 `loader` 恢复，则建议设置为 `64`（单位 MB）。


		本文档将详细介绍如何使用 `mydumper`/`tidb lightning` 对 TiDB 进行全量备份与恢复。增量备份与恢复可使用 [TiDB Binlog](/dev/reference/tidb-binlog/overview.md)。

		这里我们假定 TiDB 服务信息如下：

	这里我们假定 TiDB 服务信息如下：
	这里假定 TiDB 的服务信息如下：


		# 备份与恢复

		本文档将详细介绍如何使用 `mydumper`/`tidb lightning` 对 TiDB 进行全量备份与恢复。增量备份与恢复可使用 [TiDB Binlog](/dev/reference/tidb-binlog/overview.md)。


		`-t 32` 表明使用 32 个线程去导出数据。`-F 256` 是将实际的 table 切分成多大的 chunk，这里就是 256MB 一个 chunk。

		`--skip-tz-utc` 添加这个参数忽略掉 TiDB 与导数据的机器之间时区设置不一致的情况，禁止自动转换。


		就再执行两步命令：

		1. 执行 `mydumper` 命令前，查询 TiDB 集群的 GC 值并使用 MySQL 客户端将其调整为合适的值。


		上面，我们使用 `-B test` 表明是对 `test` 这个 database 操作，然后用 `-T t1,t2` 表明只导出 `t1`，`t2` 两张表。

		`-t 32` 表明使用 32 个线程去导出数据。`-F 256` 是将实际的 table 切分成多大的 chunk，这里就是 256MB 一个 chunk。

Conversation

IANTHEREAL commented Feb 14, 2020

What is changed, added or deleted?

What is the related PR or file link(s)?

Which TiDB version(s) does your changes apply to?

Uh oh!

IANTHEREAL commented Feb 14, 2020 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Uh oh!

Choose a reason for hiding this comment

Uh oh!

IANTHEREAL Feb 14, 2020 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

WangXiangUSTC left a comment

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

IANTHEREAL Feb 14, 2020 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

TomShawn left a comment

Choose a reason for hiding this comment

Uh oh!

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Uh oh!

Uh oh!

Uh oh!

Uh oh!

Uh oh!

Uh oh!

Uh oh!

Uh oh!

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Uh oh!

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Uh oh!

Uh oh!

Choose a reason for hiding this comment

Uh oh!

TomShawn left a comment

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

TomShawn Feb 14, 2020 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Uh oh!

TomShawn left a comment

Choose a reason for hiding this comment

Uh oh!

Reviewers

Assignees

IANTHEREAL commented Feb 14, 2020 •

edited

Loading

IANTHEREAL Feb 14, 2020 •

edited

Loading

IANTHEREAL Feb 14, 2020 •

edited

Loading

TomShawn Feb 14, 2020 •

edited

Loading