[branch-2.0](delete) Fix delete job timeout when executing delete from ...

[bobhan1]

Proposed changes

picks #37363, #37834, #38043

[doris-robot]

Thank you for your contribution to Apache Doris.
Don't know what should be done next? See How to process your PR

Since 2024-03-18, the Document has been moved to doris-website.
See Doris Document.

[bobhan1]

run buildall

[github-actions]

clang-tidy review says "All clean, LGTM! 👍"

[github-actions]

clang-tidy review says "All clean, LGTM! 👍"

[doris-robot]

TPC-H: Total hot run time: 49599 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit ac2172a8f34abbc5438f7b0b7a15804bceb28aef, data reload: false

------ Round 1 ----------------------------------
q1	17644	4451	4347	4347
q2	2043	188	148	148
q3	10487	1925	1945	1925
q4	10334	1228	1319	1228
q5	8441	3897	3891	3891
q6	233	122	124	122
q7	2074	1617	1609	1609
q8	9280	2726	2707	2707
q9	10506	10189	10412	10189
q10	8665	3540	3529	3529
q11	414	240	253	240
q12	469	299	297	297
q13	18370	3918	4027	3918
q14	355	334	323	323
q15	505	461	458	458
q16	679	577	573	573
q17	1123	987	955	955
q18	7200	6811	6793	6793
q19	1698	1535	1535	1535
q20	558	304	320	304
q21	4426	4186	4123	4123
q22	487	385	397	385
Total cold run time: 115991 ms
Total hot run time: 49599 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4294	4304	4299	4299
q2	323	228	223	223
q3	4216	4143	4164	4143
q4	2732	2768	2729	2729
q5	7131	7111	7123	7111
q6	238	118	118	118
q7	3249	2900	2822	2822
q8	4378	4469	4470	4469
q9	16766	16854	16738	16738
q10	4218	4254	4201	4201
q11	748	673	655	655
q12	1029	835	841	835
q13	5826	3708	3723	3708
q14	448	440	418	418
q15	494	451	456	451
q16	738	678	685	678
q17	3853	3959	3921	3921
q18	8843	8688	8792	8688
q19	1716	1689	1665	1665
q20	2395	2170	2137	2137
q21	8564	8419	8389	8389
q22	1033	954	994	954
Total cold run time: 83232 ms
Total hot run time: 79352 ms

[bobhan1]

run buildall

[github-actions]

clang-tidy review says "All clean, LGTM! 👍"

[doris-robot]

TPC-H: Total hot run time: 49719 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit fc46a34ec077ed7abaa91f9931b526d5ecf09ea7, data reload: false

------ Round 1 ----------------------------------
q1	17618	4367	4382	4367
q2	2066	155	154	154
q3	10255	1924	1920	1920
q4	10097	1266	1329	1266
q5	8452	3971	3846	3846
q6	232	124	121	121
q7	2063	1624	1594	1594
q8	9494	2742	2714	2714
q9	14449	10468	10214	10214
q10	8677	3542	3510	3510
q11	408	253	253	253
q12	467	319	303	303
q13	18339	3972	4043	3972
q14	350	328	326	326
q15	511	457	456	456
q16	667	566	581	566
q17	1130	963	931	931
q18	7353	7016	6865	6865
q19	1673	1595	1552	1552
q20	557	298	308	298
q21	4395	4100	4152	4100
q22	486	391	401	391
Total cold run time: 119739 ms
Total hot run time: 49719 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4328	4305	4305	4305
q2	322	226	229	226
q3	4175	4167	4129	4129
q4	2746	2729	2755	2729
q5	7237	7117	7192	7117
q6	236	120	121	120
q7	3299	2885	2851	2851
q8	4389	4472	4515	4472
q9	17544	16988	16915	16915
q10	4239	4274	4270	4270
q11	762	715	689	689
q12	1030	858	835	835
q13	6955	3719	3731	3719
q14	455	429	432	429
q15	500	460	457	457
q16	738	680	673	673
q17	3861	3865	3823	3823
q18	8687	8763	8838	8763
q19	1734	1695	1672	1672
q20	2359	2104	2127	2104
q21	8552	8530	8517	8517
q22	1046	1004	918	918
Total cold run time: 85194 ms
Total hot run time: 79733 ms

[doris-robot]

TPC-DS: Total hot run time: 204118 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit fc46a34ec077ed7abaa91f9931b526d5ecf09ea7, data reload: false

query1	928	392	436	392
query2	6531	2196	2296	2196
query3	6927	205	200	200
query4	20221	18040	17914	17914
query5	19757	6498	6559	6498
query6	290	223	243	223
query7	4157	304	307	304
query8	269	255	268	255
query9	3172	2761	2666	2666
query10	423	312	302	302
query11	11314	10776	10772	10772
query12	122	78	74	74
query13	5605	694	667	667
query14	18182	13354	13554	13354
query15	366	228	222	222
query16	6466	300	266	266
query17	1681	1475	893	893
query18	2280	414	417	414
query19	208	153	154	153
query20	78	83	78	78
query21	194	101	97	97
query22	5199	5080	5052	5052
query23	32587	31894	31944	31894
query24	6907	6559	6516	6516
query25	538	430	441	430
query26	529	167	162	162
query27	1892	304	299	299
query28	6072	2307	2262	2262
query29	2904	2898	2828	2828
query30	243	169	173	169
query31	916	707	752	707
query32	69	67	63	63
query33	405	263	262	262
query34	859	475	492	475
query35	1137	941	940	940
query36	1253	1144	1228	1144
query37	90	61	63	61
query38	3065	2995	2915	2915
query39	1372	1331	1329	1329
query40	214	97	100	97
query41	47	38	38	38
query42	89	92	88	88
query43	686	581	732	581
query44	1118	721	723	721
query45	251	230	236	230
query46	1220	970	983	970
query47	1846	1857	1639	1639
query48	993	675	686	675
query49	619	388	373	373
query50	863	598	628	598
query51	4838	4642	4728	4642
query52	99	88	94	88
query53	446	324	326	324
query54	2657	2498	2498	2498
query55	79	82	78	78
query56	248	195	224	195
query57	1233	1104	1082	1082
query58	216	217	210	210
query59	3388	3259	3544	3259
query60	220	208	209	208
query61	102	97	106	97
query62	875	467	473	467
query63	484	345	339	339
query64	2459	1576	1420	1420
query65	3635	3569	3581	3569
query66	824	384	379	379
query67	16391	16817	17012	16817
query68	8358	650	655	650
query69	562	351	346	346
query70	1608	1367	1500	1367
query71	404	310	333	310
query72	6546	3549	3532	3532
query73	744	325	325	325
query74	6375	5893	5819	5819
query75	4598	3771	3715	3715
query76	4642	1154	1207	1154
query77	576	255	256	255
query78	12697	11572	11558	11558
query79	9001	667	654	654
query80	2489	408	420	408
query81	520	233	240	233
query82	1631	108	97	97
query83	186	142	136	136
query84	258	78	72	72
query85	1282	337	328	328
query86	362	295	289	289
query87	3247	3044	3070	3044
query88	5206	2336	2324	2324
query89	412	283	293	283
query90	1854	216	215	215
query91	158	127	126	126
query92	64	53	55	53
query93	6340	584	583	583
query94	875	217	217	217
query95	1120	1089	1072	1072
query96	650	337	328	328
query97	6566	6487	6491	6487
query98	201	180	175	175
query99	2959	883	833	833
Total cold run time: 313839 ms
Total hot run time: 204118 ms

[doris-robot]

ClickBench: Total hot run time: 30.02 s

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit fc46a34ec077ed7abaa91f9931b526d5ecf09ea7, data reload: false

query1	0.02	0.02	0.02
query2	0.07	0.03	0.02
query3	0.25	0.05	0.04
query4	1.79	0.06	0.06
query5	0.53	0.53	0.52
query6	1.27	0.62	0.63
query7	0.02	0.01	0.02
query8	0.03	0.02	0.02
query9	0.52	0.50	0.48
query10	0.55	0.55	0.54
query11	0.12	0.09	0.09
query12	0.12	0.10	0.09
query13	0.63	0.61	0.61
query14	0.79	0.77	0.78
query15	0.80	0.77	0.76
query16	0.36	0.36	0.36
query17	1.00	1.01	1.02
query18	0.24	0.23	0.24
query19	1.92	1.85	1.83
query20	0.02	0.01	0.00
query21	15.48	0.58	0.56
query22	2.33	2.50	1.04
query23	17.07	0.99	1.09
query24	7.93	0.70	0.73
query25	0.38	0.07	0.06
query26	0.82	0.16	0.15
query27	0.05	0.03	0.04
query28	5.84	0.76	0.72
query29	12.67	2.28	2.26
query30	0.59	0.53	0.53
query31	2.80	0.40	0.37
query32	3.40	0.49	0.50
query33	3.08	3.10	3.08
query34	15.27	4.84	4.84
query35	4.88	4.92	4.85
query36	1.06	1.02	1.01
query37	0.06	0.05	0.05
query38	0.04	0.03	0.03
query39	0.02	0.01	0.02
query40	0.16	0.15	0.14
query41	0.07	0.02	0.01
query42	0.02	0.02	0.01
query43	0.03	0.02	0.01
Total cold run time: 105.1 s
Total hot run time: 30.02 s

[doris-robot]

Load test result on machine: 'aliyun_ecs.c7a.8xlarge_32C64G'

Load test result on commit fc46a34ec077ed7abaa91f9931b526d5ecf09ea7 with default session variables
Stream load json:         20 seconds loaded 2358488459 Bytes, about 112 MB/s
Stream load orc:          58 seconds loaded 1101869774 Bytes, about 18 MB/s
Stream load parquet:      32 seconds loaded 861443392 Bytes, about 25 MB/s
Insert into select:       21.5 seconds inserted 10000000 Rows, about 465K ops/s

[bobhan1]

run buildall

[github-actions]

clang-tidy review says "All clean, LGTM! 👍"

[doris-robot]

TeamCity be ut coverage result:
Function Coverage: 37.87% (8142/21499)
Line Coverage: 29.60% (67006/226340)
Region Coverage: 29.09% (34572/118831)
Branch Coverage: 24.99% (17808/71260)
Coverage Report: http://coverage.selectdb-in.cc/coverage/1dff0f9bb137bed4909af27ecb9227bdbfecbf4e_1dff0f9bb137bed4909af27ecb9227bdbfecbf4e/report/index.html

[doris-robot]

TPC-H: Total hot run time: 49773 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 1dff0f9bb137bed4909af27ecb9227bdbfecbf4e, data reload: false

------ Round 1 ----------------------------------
q1	17923	4387	4371	4371
q2	2059	152	144	144
q3	10462	1881	1881	1881
q4	10324	1215	1320	1215
q5	8805	3914	3917	3914
q6	227	122	124	122
q7	2057	1589	1601	1589
q8	9291	2722	2959	2722
q9	10879	10512	10561	10512
q10	8790	3573	3484	3484
q11	412	248	245	245
q12	477	295	293	293
q13	18345	3959	4062	3959
q14	359	320	320	320
q15	510	461	451	451
q16	688	586	572	572
q17	1124	963	968	963
q18	7252	6735	6806	6735
q19	1673	1538	1488	1488
q20	517	312	300	300
q21	4482	4134	4102	4102
q22	483	391	392	391
Total cold run time: 117139 ms
Total hot run time: 49773 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4292	4269	4310	4269
q2	324	226	221	221
q3	4192	4125	4157	4125
q4	2749	2746	2757	2746
q5	7236	7158	7192	7158
q6	233	119	118	118
q7	3236	2840	2826	2826
q8	4383	4505	4498	4498
q9	17469	17237	16952	16952
q10	4214	4266	4252	4252
q11	758	683	675	675
q12	1033	870	863	863
q13	6646	3736	3725	3725
q14	455	436	416	416
q15	515	453	458	453
q16	729	690	661	661
q17	3802	3859	3816	3816
q18	8718	8795	8687	8687
q19	1711	1697	1625	1625
q20	2378	2104	2134	2104
q21	8532	8427	8431	8427
q22	1095	993	965	965
Total cold run time: 84700 ms
Total hot run time: 79582 ms

[doris-robot]

TPC-DS: Total hot run time: 202424 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 1dff0f9bb137bed4909af27ecb9227bdbfecbf4e, data reload: false

query1	945	393	414	393
query2	6539	2107	2249	2107
query3	6917	207	200	200
query4	20952	18053	18053	18053
query5	19741	6535	6514	6514
query6	295	216	227	216
query7	4160	311	330	311
query8	265	223	233	223
query9	3179	2744	2673	2673
query10	433	305	326	305
query11	11266	10893	10859	10859
query12	124	85	76	76
query13	5625	666	660	660
query14	17873	13377	13735	13377
query15	357	217	238	217
query16	6484	292	272	272
query17	1687	1452	892	892
query18	2299	426	412	412
query19	211	151	151	151
query20	82	82	85	82
query21	192	98	92	92
query22	5144	5026	4925	4925
query23	32511	31916	31930	31916
query24	6960	6508	6542	6508
query25	518	447	436	436
query26	614	169	166	166
query27	1996	300	305	300
query28	6072	2315	2283	2283
query29	2995	2812	2844	2812
query30	244	171	172	171
query31	895	722	732	722
query32	70	64	64	64
query33	410	256	282	256
query34	855	491	481	481
query35	1128	931	884	884
query36	1540	1066	1055	1055
query37	90	63	62	62
query38	3044	3013	2960	2960
query39	1349	1317	1317	1317
query40	206	98	95	95
query41	40	38	37	37
query42	86	89	86	86
query43	693	610	568	568
query44	1141	727	720	720
query45	248	236	244	236
query46	1240	983	994	983
query47	1729	1875	1802	1802
query48	989	680	672	672
query49	613	374	376	374
query50	868	640	623	623
query51	4732	4721	4736	4721
query52	94	77	78	77
query53	446	331	322	322
query54	2651	2503	2466	2466
query55	94	82	94	82
query56	246	228	198	198
query57	1237	1146	1091	1091
query58	232	195	217	195
query59	3447	3245	3462	3245
query60	214	204	217	204
query61	102	100	108	100
query62	828	460	486	460
query63	484	351	344	344
query64	2628	1561	1502	1502
query65	3638	3567	3549	3549
query66	816	395	386	386
query67	15598	14850	16793	14850
query68	8803	673	700	673
query69	601	354	338	338
query70	1575	1424	1387	1387
query71	420	313	323	313
query72	6585	3529	3519	3519
query73	749	330	319	319
query74	6329	5867	5868	5867
query75	5241	3725	3724	3724
query76	5250	1143	1204	1143
query77	872	261	258	258
query78	12692	11602	12148	11602
query79	7603	655	673	655
query80	1041	415	407	407
query81	491	237	237	237
query82	1417	101	101	101
query83	177	143	136	136
query84	259	74	71	71
query85	900	335	323	323
query86	343	290	293	290
query87	3259	3028	3081	3028
query88	4937	2322	2327	2322
query89	356	292	278	278
query90	1920	214	215	214
query91	161	123	128	123
query92	57	54	54	54
query93	3764	580	610	580
query94	703	218	217	217
query95	1143	1068	1079	1068
query96	653	325	325	325
query97	6438	6418	6465	6418
query98	194	182	171	171
query99	2924	872	896	872
Total cold run time: 309258 ms
Total hot run time: 202424 ms

[doris-robot]

ClickBench: Total hot run time: 30.94 s

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 1dff0f9bb137bed4909af27ecb9227bdbfecbf4e, data reload: false

query1	0.02	0.02	0.02
query2	0.06	0.03	0.03
query3	0.25	0.04	0.05
query4	1.79	0.07	0.06
query5	0.55	0.52	0.52
query6	1.25	0.62	0.62
query7	0.02	0.01	0.01
query8	0.03	0.02	0.02
query9	0.52	0.49	0.48
query10	0.53	0.55	0.56
query11	0.12	0.09	0.09
query12	0.11	0.10	0.09
query13	0.63	0.61	0.62
query14	0.78	0.80	0.79
query15	0.77	0.76	0.76
query16	0.38	0.38	0.36
query17	1.02	1.00	1.02
query18	0.22	0.26	0.22
query19	1.86	1.86	1.86
query20	0.02	0.01	0.01
query21	15.45	0.60	0.58
query22	2.29	2.36	1.75
query23	17.04	1.07	1.04
query24	7.17	0.79	0.76
query25	0.36	0.09	0.07
query26	0.73	0.16	0.14
query27	0.04	0.04	0.04
query28	6.47	0.76	0.73
query29	12.74	2.33	2.27
query30	0.55	0.54	0.53
query31	2.81	0.40	0.38
query32	3.40	0.50	0.49
query33	3.10	3.05	3.07
query34	15.24	4.81	4.84
query35	4.87	4.88	4.89
query36	1.04	1.03	1.02
query37	0.06	0.05	0.05
query38	0.04	0.02	0.03
query39	0.02	0.01	0.02
query40	0.16	0.14	0.14
query41	0.07	0.01	0.02
query42	0.02	0.02	0.02
query43	0.03	0.01	0.01
Total cold run time: 104.63 s
Total hot run time: 30.94 s

[doris-robot]

Load test result on machine: 'aliyun_ecs.c7a.8xlarge_32C64G'

Load test result on commit 1dff0f9bb137bed4909af27ecb9227bdbfecbf4e with default session variables
Stream load json:         19 seconds loaded 2358488459 Bytes, about 118 MB/s
Stream load orc:          58 seconds loaded 1101869774 Bytes, about 18 MB/s
Stream load parquet:      31 seconds loaded 861443392 Bytes, about 26 MB/s
Insert into select:       21.5 seconds inserted 10000000 Rows, about 465K ops/s

[bobhan1]

run p0