From ba79faa1a807af65651ad43861fcdb11be2b4c0e Mon Sep 17 00:00:00 2001 From: dsdashun Date: Wed, 8 Feb 2023 18:31:59 +0800 Subject: [PATCH 1/9] lightning: modify doc to introduce new parameter for CSV --- tidb-lightning/tidb-lightning-configuration.md | 7 ++++++- 1 file changed, 6 insertions(+), 1 deletion(-) diff --git a/tidb-lightning/tidb-lightning-configuration.md b/tidb-lightning/tidb-lightning-configuration.md index 558b6e791ac6..2ace15a9d906 100644 --- a/tidb-lightning/tidb-lightning-configuration.md +++ b/tidb-lightning/tidb-lightning-configuration.md @@ -207,8 +207,13 @@ delimiter = '"' # 行尾定界字符，支持一个或多个字符。设置为空（默认值）表示 "\n"（换行）和 "\r\n" （回车+换行），均表示行尾。 terminator = "" # CSV 文件是否包含表头。 -# 如果 header = true，将跳过首行。 +# 如果 header = true，将把首行的内容作为表头处理，不作为数据导入。否则，首行也作为 CSV 数据导入。 header = true +# CSV 表头是否匹配目标表的表结构。 +# 默认为 true, 表示在导入数据时，会根据 CSV 表头的字段名去匹配目标表对应的列, 这样即使 CSV 文件和目标表列的顺序不一致也能导入。 +# 如果设置为 false，表示 CSV 的表头的列名和目标表的列是不匹配的，也就是可能一些 CSV 表头中的字段名在目标表中找不到对应的同样名字的列， +# 这时，在导入的时候，会直接忽略 CSV 表头的内容，以避免导入错误。 在这种情况下，直接把 CSV 数据按照目标表列的顺序导入 +header-schema-match = true # CSV 文件是否包含 NULL。 # 如果 not-null = true，CSV 所有列都不能解析为 NULL。 not-null = false From 27a567d19129b82ab4293e1a364fa765b4b70745 Mon Sep 17 00:00:00 2001 From: dsdashun Date: Thu, 9 Feb 2023 09:49:44 +0800 Subject: [PATCH 2/9] added some side-note to the new paramter --- tidb-lightning/tidb-lightning-configuration.md | 3 ++- 1 file changed, 2 insertions(+), 1 deletion(-) diff --git a/tidb-lightning/tidb-lightning-configuration.md b/tidb-lightning/tidb-lightning-configuration.md index 2ace15a9d906..24212eddf06a 100644 --- a/tidb-lightning/tidb-lightning-configuration.md +++ b/tidb-lightning/tidb-lightning-configuration.md @@ -212,7 +212,8 @@ header = true # CSV 表头是否匹配目标表的表结构。 # 默认为 true, 表示在导入数据时，会根据 CSV 表头的字段名去匹配目标表对应的列, 这样即使 CSV 文件和目标表列的顺序不一致也能导入。 # 如果设置为 false，表示 CSV 的表头的列名和目标表的列是不匹配的，也就是可能一些 CSV 表头中的字段名在目标表中找不到对应的同样名字的列， -# 这时，在导入的时候，会直接忽略 CSV 表头的内容，以避免导入错误。 在这种情况下，直接把 CSV 数据按照目标表列的顺序导入 +# 这时，在导入的时候，会直接忽略 CSV 表头的内容，以避免导入错误。 在这种情况下，直接把 CSV 数据按照目标表列的顺序导入。 +# 注意：只有在 header = true 时，该参数才会生效。（如果 header = false ，表示 CSV 文件没有表头，此时不需要考虑相关列名匹配。） header-schema-match = true # CSV 文件是否包含 NULL。 # 如果 not-null = true，CSV 所有列都不能解析为 NULL。 From 9c61cdffd2af854ba4ea675e9d681b130323b05e Mon Sep 17 00:00:00 2001 From: dsdashun Date: Thu, 9 Feb 2023 10:26:30 +0800 Subject: [PATCH 3/9] Update tidb-lightning/tidb-lightning-configuration.md Co-authored-by: xixirangrang --- tidb-lightning/tidb-lightning-configuration.md | 6 +++--- 1 file changed, 3 insertions(+), 3 deletions(-) diff --git a/tidb-lightning/tidb-lightning-configuration.md b/tidb-lightning/tidb-lightning-configuration.md index 24212eddf06a..7c60f160704b 100644 --- a/tidb-lightning/tidb-lightning-configuration.md +++ b/tidb-lightning/tidb-lightning-configuration.md @@ -207,13 +207,13 @@ delimiter = '"' # 行尾定界字符，支持一个或多个字符。设置为空（默认值）表示 "\n"（换行）和 "\r\n" （回车+换行），均表示行尾。 terminator = "" # CSV 文件是否包含表头。 -# 如果 header = true，将把首行的内容作为表头处理，不作为数据导入。否则，首行也作为 CSV 数据导入。 +# 如果 header = true，将把首行的内容作为表头处理，不作为数据导入。如果设置为 false，首行也作为 CSV 数据导入。 header = true # CSV 表头是否匹配目标表的表结构。 # 默认为 true, 表示在导入数据时，会根据 CSV 表头的字段名去匹配目标表对应的列, 这样即使 CSV 文件和目标表列的顺序不一致也能导入。 -# 如果设置为 false，表示 CSV 的表头的列名和目标表的列是不匹配的，也就是可能一些 CSV 表头中的字段名在目标表中找不到对应的同样名字的列， +# 如果设置为 false，表示 CSV 的表头的列名和目标表的列是不匹配的，一些 CSV 表头中的字段名在目标表中可能找不到对应的同名列。 # 这时，在导入的时候，会直接忽略 CSV 表头的内容，以避免导入错误。 在这种情况下，直接把 CSV 数据按照目标表列的顺序导入。 -# 注意：只有在 header = true 时，该参数才会生效。（如果 header = false ，表示 CSV 文件没有表头，此时不需要考虑相关列名匹配。） +# 注意：只有在 header = true 时，该参数才会生效。如果 header = false ，表示 CSV 文件没有表头，此时不需要考虑相关列名匹配的问题。 header-schema-match = true # CSV 文件是否包含 NULL。 # 如果 not-null = true，CSV 所有列都不能解析为 NULL。 From b9f01faf5b50f0e0b6ce272e270ab83887788b53 Mon Sep 17 00:00:00 2001 From: xixirangrang Date: Thu, 9 Feb 2023 10:27:08 +0800 Subject: [PATCH 4/9] Update tidb-lightning/tidb-lightning-configuration.md --- tidb-lightning/tidb-lightning-configuration.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/tidb-lightning/tidb-lightning-configuration.md b/tidb-lightning/tidb-lightning-configuration.md index 7c60f160704b..4ee657ab6e11 100644 --- a/tidb-lightning/tidb-lightning-configuration.md +++ b/tidb-lightning/tidb-lightning-configuration.md @@ -212,7 +212,7 @@ header = true # CSV 表头是否匹配目标表的表结构。 # 默认为 true, 表示在导入数据时，会根据 CSV 表头的字段名去匹配目标表对应的列, 这样即使 CSV 文件和目标表列的顺序不一致也能导入。 # 如果设置为 false，表示 CSV 的表头的列名和目标表的列是不匹配的，一些 CSV 表头中的字段名在目标表中可能找不到对应的同名列。 -# 这时，在导入的时候，会直接忽略 CSV 表头的内容，以避免导入错误。 在这种情况下，直接把 CSV 数据按照目标表列的顺序导入。 +# 这时，在导入的时候，会直接忽略 CSV 表头的内容，以避免导入错误。在这种情况下，直接把 CSV 数据按照目标表列的顺序导入。 # 注意：只有在 header = true 时，该参数才会生效。如果 header = false ，表示 CSV 文件没有表头，此时不需要考虑相关列名匹配的问题。 header-schema-match = true # CSV 文件是否包含 NULL。 From d3dc9c6a4a380477e082e18d2f537646d6e04683 Mon Sep 17 00:00:00 2001 From: xixirangrang Date: Fri, 10 Feb 2023 08:56:09 +0800 Subject: [PATCH 5/9] Update tidb-lightning/tidb-lightning-configuration.md Co-authored-by: Grace Cai --- tidb-lightning/tidb-lightning-configuration.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/tidb-lightning/tidb-lightning-configuration.md b/tidb-lightning/tidb-lightning-configuration.md index 4ee657ab6e11..d8d5a582d13e 100644 --- a/tidb-lightning/tidb-lightning-configuration.md +++ b/tidb-lightning/tidb-lightning-configuration.md @@ -211,7 +211,7 @@ terminator = "" header = true # CSV 表头是否匹配目标表的表结构。 # 默认为 true, 表示在导入数据时，会根据 CSV 表头的字段名去匹配目标表对应的列, 这样即使 CSV 文件和目标表列的顺序不一致也能导入。 -# 如果设置为 false，表示 CSV 的表头的列名和目标表的列是不匹配的，一些 CSV 表头中的字段名在目标表中可能找不到对应的同名列。 +# 如果 CSV 表头中的字段名和目标表的列名不匹配（例如，一些 CSV 表头中的字段名在目标表中可能找不到对应的同名列）但列的顺序是一致的，请将该配置设置为 false。 # 这时，在导入的时候，会直接忽略 CSV 表头的内容，以避免导入错误。在这种情况下，直接把 CSV 数据按照目标表列的顺序导入。 # 注意：只有在 header = true 时，该参数才会生效。如果 header = false ，表示 CSV 文件没有表头，此时不需要考虑相关列名匹配的问题。 header-schema-match = true From 37c5cb6742187796bf794007f24c102a16213ad2 Mon Sep 17 00:00:00 2001 From: xixirangrang Date: Fri, 10 Feb 2023 08:56:23 +0800 Subject: [PATCH 6/9] Update tidb-lightning/tidb-lightning-configuration.md Co-authored-by: Grace Cai --- tidb-lightning/tidb-lightning-configuration.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/tidb-lightning/tidb-lightning-configuration.md b/tidb-lightning/tidb-lightning-configuration.md index d8d5a582d13e..791919c48803 100644 --- a/tidb-lightning/tidb-lightning-configuration.md +++ b/tidb-lightning/tidb-lightning-configuration.md @@ -210,7 +210,7 @@ terminator = "" # 如果 header = true，将把首行的内容作为表头处理，不作为数据导入。如果设置为 false，首行也作为 CSV 数据导入。 header = true # CSV 表头是否匹配目标表的表结构。 -# 默认为 true, 表示在导入数据时，会根据 CSV 表头的字段名去匹配目标表对应的列, 这样即使 CSV 文件和目标表列的顺序不一致也能导入。 +# 默认为 true，表示在导入数据时，会根据 CSV 表头的字段名去匹配目标表对应的列名，这样即使 CSV 文件和目标表列的顺序不一致也能按照对应的列名进行导入。 # 如果 CSV 表头中的字段名和目标表的列名不匹配（例如，一些 CSV 表头中的字段名在目标表中可能找不到对应的同名列）但列的顺序是一致的，请将该配置设置为 false。 # 这时，在导入的时候，会直接忽略 CSV 表头的内容，以避免导入错误。在这种情况下，直接把 CSV 数据按照目标表列的顺序导入。 # 注意：只有在 header = true 时，该参数才会生效。如果 header = false ，表示 CSV 文件没有表头，此时不需要考虑相关列名匹配的问题。 From 916b494d83df635d8a5528e6319dccb0fa1e38b8 Mon Sep 17 00:00:00 2001 From: xixirangrang <35301108+hfxsd@users.noreply.github.com> Date: Fri, 10 Feb 2023 10:48:23 +0800 Subject: [PATCH 7/9] Update tidb-lightning-configuration.md --- tidb-lightning/tidb-lightning-configuration.md | 4 ++-- 1 file changed, 2 insertions(+), 2 deletions(-) diff --git a/tidb-lightning/tidb-lightning-configuration.md b/tidb-lightning/tidb-lightning-configuration.md index 791919c48803..a2e69a5e495b 100644 --- a/tidb-lightning/tidb-lightning-configuration.md +++ b/tidb-lightning/tidb-lightning-configuration.md @@ -207,11 +207,11 @@ delimiter = '"' # 行尾定界字符，支持一个或多个字符。设置为空（默认值）表示 "\n"（换行）和 "\r\n" （回车+换行），均表示行尾。 terminator = "" # CSV 文件是否包含表头。 -# 如果 header = true，将把首行的内容作为表头处理，不作为数据导入。如果设置为 false，首行也作为 CSV 数据导入。 +# 如果 header = true，将把首行的内容作为表头处理，不作为数据导入。如果设置为 false，首行也作为 CSV 数据导入，此时请确保 CSV 文件的列顺序与目标表的列顺序一致，否则可能会导致数据差异。 header = true # CSV 表头是否匹配目标表的表结构。 # 默认为 true，表示在导入数据时，会根据 CSV 表头的字段名去匹配目标表对应的列名，这样即使 CSV 文件和目标表列的顺序不一致也能按照对应的列名进行导入。 -# 如果 CSV 表头中的字段名和目标表的列名不匹配（例如，一些 CSV 表头中的字段名在目标表中可能找不到对应的同名列）但列的顺序是一致的，请将该配置设置为 false。 +# 如果 CSV 表头中的字段名和目标表的列名不匹配（例如，一些 CSV 表头中的字段名在目标表中可能找不到对应的同名列）但列的顺序是一致的，请将该配置设置为 false。如果列的顺序不一致，请手动调整一致后再导入，否则可能会导致数据差异。 # 这时，在导入的时候，会直接忽略 CSV 表头的内容，以避免导入错误。在这种情况下，直接把 CSV 数据按照目标表列的顺序导入。 # 注意：只有在 header = true 时，该参数才会生效。如果 header = false ，表示 CSV 文件没有表头，此时不需要考虑相关列名匹配的问题。 header-schema-match = true From c9834e24994ede73baec9212e47adb384058d4aa Mon Sep 17 00:00:00 2001 From: xixirangrang <35301108+hfxsd@users.noreply.github.com> Date: Fri, 10 Feb 2023 10:50:13 +0800 Subject: [PATCH 8/9] Update tidb-lightning-configuration.md --- tidb-lightning/tidb-lightning-configuration.md | 3 ++- 1 file changed, 2 insertions(+), 1 deletion(-) diff --git a/tidb-lightning/tidb-lightning-configuration.md b/tidb-lightning/tidb-lightning-configuration.md index a2e69a5e495b..ed6a252cf6c3 100644 --- a/tidb-lightning/tidb-lightning-configuration.md +++ b/tidb-lightning/tidb-lightning-configuration.md @@ -211,8 +211,9 @@ terminator = "" header = true # CSV 表头是否匹配目标表的表结构。 # 默认为 true，表示在导入数据时，会根据 CSV 表头的字段名去匹配目标表对应的列名，这样即使 CSV 文件和目标表列的顺序不一致也能按照对应的列名进行导入。 -# 如果 CSV 表头中的字段名和目标表的列名不匹配（例如，一些 CSV 表头中的字段名在目标表中可能找不到对应的同名列）但列的顺序是一致的，请将该配置设置为 false。如果列的顺序不一致，请手动调整一致后再导入，否则可能会导致数据差异。 +# 如果 CSV 表头中的字段名和目标表的列名不匹配（例如，一些 CSV 表头中的字段名在目标表中可能找不到对应的同名列）但列的顺序是一致的，请将该配置设置为 false。 # 这时，在导入的时候，会直接忽略 CSV 表头的内容，以避免导入错误。在这种情况下，直接把 CSV 数据按照目标表列的顺序导入。 +# 因此，如果列的顺序不一致，请手动调整一致后再导入，否则可能会导致数据差异。 # 注意：只有在 header = true 时，该参数才会生效。如果 header = false ，表示 CSV 文件没有表头，此时不需要考虑相关列名匹配的问题。 header-schema-match = true # CSV 文件是否包含 NULL。 From 3c4bdf1dee943052b236a47b17969ecc8380641f Mon Sep 17 00:00:00 2001 From: xixirangrang Date: Sat, 11 Feb 2023 21:52:11 +0800 Subject: [PATCH 9/9] Update tidb-lightning/tidb-lightning-configuration.md Co-authored-by: Grace Cai --- tidb-lightning/tidb-lightning-configuration.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/tidb-lightning/tidb-lightning-configuration.md b/tidb-lightning/tidb-lightning-configuration.md index ed6a252cf6c3..2cb6d3a15606 100644 --- a/tidb-lightning/tidb-lightning-configuration.md +++ b/tidb-lightning/tidb-lightning-configuration.md @@ -211,7 +211,7 @@ terminator = "" header = true # CSV 表头是否匹配目标表的表结构。 # 默认为 true，表示在导入数据时，会根据 CSV 表头的字段名去匹配目标表对应的列名，这样即使 CSV 文件和目标表列的顺序不一致也能按照对应的列名进行导入。 -# 如果 CSV 表头中的字段名和目标表的列名不匹配（例如，一些 CSV 表头中的字段名在目标表中可能找不到对应的同名列）但列的顺序是一致的，请将该配置设置为 false。 +# 如果 CSV 表头中的字段名和目标表的列名不匹配（例如，CSV 表头中的某些字段名在目标表中可能找不到对应的同名列）但列的顺序是一致的，请将该配置设置为 false。 # 这时，在导入的时候，会直接忽略 CSV 表头的内容，以避免导入错误。在这种情况下，直接把 CSV 数据按照目标表列的顺序导入。 # 因此，如果列的顺序不一致，请手动调整一致后再导入，否则可能会导致数据差异。 # 注意：只有在 header = true 时，该参数才会生效。如果 header = false ，表示 CSV 文件没有表头，此时不需要考虑相关列名匹配的问题。