[Bug] Stream Load导入csv行数较多时行分割错误

[heartdance]

Search before asking

• I had searched in the issues and found no similar issues.

Version

doris-2.1.2-rc04

What's Wrong?

数据中包含换行符，但是使用引号包裹了，也设置了enclose: "。当数据行数不多时不会报错，一旦行数多了就会分割错误，报错为：Reason: actual column number in csv file is less than schema column number: 97, schema column number: 102

What You Expected?

行数多少应该不影响csv解析，怀疑是buffer或者哪里的问题没有正常解析

How to Reproduce?

No response

Anything Else?

No response

Are you willing to submit PR?

• Yes I am willing to submit a PR!

Code of Conduct

• I agree to follow this project's Code of Conduct

[heartdance]

请求头csv相关参数设置如下，其中f4为base64格式，所以包含\r\n：
columns: f1,f2,f3,f4,f5,f6
column_separator: ,
enclose: '
escape: \
数据格式如下，其中的\r\n为换行符非转义后的字符：

1,2,3,'line1\r\nline2\r\nline3\r\n...',5,6
1,2,3,'line1\r\nline2\r\nline3\r\n...',5,6
...

相同的一批数据，如果按每10条一批插入就没问题，按10000条左右（共64MB左右）批量插入就会报错，其中某行会从lineN被截断

[liaoxin01]

#34364 这个pr应该fix这个问题，你试下2.1.3版本看看的

[heartdance]

好的非常感谢，我试一下

[heartdance]

#34364 这个pr应该fix这个问题，你试下2.1.3版本看看的

我跟这个pr应该不是相同的问题，他的问题是必现的，跟数据量无关，我的是跟批量文件大小相关的，把大文件（64MB左右）拆分为小几个文件再执行就不会报错

[liaoxin01]

@heartdance 试了新版还是不行吗？那个bug大文件容易触发到

[heartdance]

@heartdance 试了新版还是不行吗？那个bug大文件容易触发到

是的，还是有同样的问题

[heartdance]

我看了下be日志，有如下报错：

stream_load.cpp:349] append body content failed, errmsg=[INTERNAL_ERROR]cancelled: closed, id=...
stream_load_executor.cpp:100] fragment execute failed, err_msg=[DATA_QUALITY_ERROR]too many filtered rows, id=...

[ixzc]

please add my wechat: Faith_xzc

[mark-triker]

我在想是不是doris数据加载时做了文件分割来并行加载,分割时没考虑enclose符号的问题,我也遇到了类似的问题

[liaoxin01]

包围符里的数据有换行符的时候是有个bug可能会导致切分错误，#38347 这个pr最近修了

[qbmiller]

还是有这问题，一模一样. v2 最新版

[github-actions]

We're closing this issue because it hasn't been updated in a while.
If you'd like to revive this issue, please reopen it and feel free a maintainer to remove the Stale tag!