[opt](routine load) support routine load perceived schema change

[sollhui]

At present, if the table structure changes, the routine load cannot perceive it. As a long-running load, it should be able to perceive the changes in the table structure.

[doris-robot]

Thank you for your contribution to Apache Doris.
Don't know what should be done next? See How to process your PR

Since 2024-03-18, the Document has been moved to doris-website.
See Doris Document.

[sollhui]

run buildall

[sollhui]

run buildall

[sollhui]

run buildall

[doris-robot]

TPC-H: Total hot run time: 38428 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 733a174cc0b958b2718e3b86eeacdd8eea6d312a, data reload: false

------ Round 1 ----------------------------------
q1	18205	4471	4421	4421
q2	2575	218	216	216
q3	11025	1254	1140	1140
q4	10539	780	782	780
q5	7885	2880	2862	2862
q6	263	169	162	162
q7	1021	665	667	665
q8	9546	2074	2072	2072
q9	7079	6559	6523	6523
q10	7066	2227	2254	2227
q11	482	260	258	258
q12	407	245	238	238
q13	17795	3014	2997	2997
q14	285	251	246	246
q15	575	518	527	518
q16	520	427	396	396
q17	984	648	664	648
q18	7649	6981	6846	6846
q19	6793	1097	1157	1097
q20	710	357	359	357
q21	3895	2823	2696	2696
q22	1154	1087	1063	1063
Total cold run time: 116453 ms
Total hot run time: 38428 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4518	4254	4245	4245
q2	415	312	291	291
q3	2832	2592	2697	2592
q4	1948	1680	1609	1609
q5	5370	5391	5393	5391
q6	232	146	146	146
q7	2114	1748	1702	1702
q8	3228	3382	3338	3338
q9	8458	8381	8476	8381
q10	3419	3170	3144	3144
q11	637	528	539	528
q12	834	645	633	633
q13	17448	2963	3009	2963
q14	307	298	297	297
q15	573	511	498	498
q16	499	427	441	427
q17	1780	1530	1517	1517
q18	7697	7548	7729	7548
q19	1694	1424	1623	1424
q20	2050	1861	1828	1828
q21	5193	5198	5084	5084
q22	1146	1074	1041	1041
Total cold run time: 72392 ms
Total hot run time: 54627 ms

[doris-robot]

TPC-DS: Total hot run time: 191255 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 733a174cc0b958b2718e3b86eeacdd8eea6d312a, data reload: false

query1	979	398	394	394
query2	6765	1976	1863	1863
query3	6663	235	250	235
query4	34339	23628	23204	23204
query5	4338	705	702	702
query6	324	223	214	214
query7	4628	312	319	312
query8	414	372	379	372
query9	8566	2497	2474	2474
query10	486	316	350	316
query11	17262	15058	15161	15058
query12	189	127	130	127
query13	1707	424	419	419
query14	9898	7117	7343	7117
query15	292	181	187	181
query16	8204	552	525	525
query17	1684	598	583	583
query18	2185	329	341	329
query19	351	173	166	166
query20	139	136	140	136
query21	260	162	139	139
query22	4344	3975	4041	3975
query23	34291	33560	33477	33477
query24	11246	2997	2959	2959
query25	651	418	422	418
query26	1210	186	183	183
query27	2728	305	318	305
query28	7068	2159	2144	2144
query29	861	448	439	439
query30	384	189	191	189
query31	1054	847	812	812
query32	123	79	80	79
query33	812	335	342	335
query34	891	513	504	504
query35	883	784	757	757
query36	1122	954	969	954
query37	175	108	106	106
query38	3995	3935	3945	3935
query39	1533	1451	1478	1451
query40	244	155	154	154
query41	144	142	142	142
query42	139	119	118	118
query43	540	507	510	507
query44	1285	780	788	780
query45	224	196	196	196
query46	1174	796	832	796
query47	1890	1819	1806	1806
query48	438	346	339	339
query49	1213	592	587	587
query50	867	484	478	478
query51	6914	6845	6744	6744
query52	123	110	112	110
query53	306	227	231	227
query54	935	510	500	500
query55	92	90	92	90
query56	337	316	337	316
query57	1178	1141	1143	1141
query58	334	298	309	298
query59	2968	2759	2756	2756
query60	363	325	334	325
query61	148	146	145	145
query62	849	700	735	700
query63	259	234	237	234
query64	5225	2398	1898	1898
query65	3286	3173	3210	3173
query66	1179	699	695	695
query67	15486	15007	14945	14945
query68	5141	593	596	593
query69	689	408	329	329
query70	1202	1193	1154	1154
query71	516	311	319	311
query72	7623	2347	2130	2130
query73	846	365	367	365
query74	9333	9012	8798	8798
query75	4513	2799	2784	2784
query76	3927	1026	1065	1026
query77	848	437	451	437
query78	10118	9293	9069	9069
query79	5407	568	569	568
query80	2628	619	612	612
query81	636	316	262	262
query82	1199	163	161	161
query83	379	213	219	213
query84	292	105	99	99
query85	1659	350	344	344
query86	484	318	329	318
query87	4573	4194	4292	4194
query88	5021	2528	2559	2528
query89	464	330	329	329
query90	1971	237	237	237
query91	160	126	126	126
query92	90	79	76	76
query93	5390	552	557	552
query94	1005	328	321	321
query95	391	302	302	302
query96	636	291	290	290
query97	3285	3123	3098	3098
query98	241	234	232	232
query99	1835	1334	1309	1309
Total cold run time: 313686 ms
Total hot run time: 191255 ms

[doris-robot]

ClickBench: Total hot run time: 31.45 s

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 733a174cc0b958b2718e3b86eeacdd8eea6d312a, data reload: false

query1	0.04	0.04	0.04
query2	0.08	0.04	0.04
query3	0.23	0.05	0.05
query4	1.66	0.09	0.07
query5	0.49	0.48	0.50
query6	1.14	0.73	0.74
query7	0.04	0.01	0.02
query8	0.06	0.05	0.05
query9	0.55	0.50	0.50
query10	0.55	0.54	0.54
query11	0.15	0.13	0.13
query12	0.16	0.13	0.13
query13	0.62	0.62	0.58
query14	0.78	0.78	0.78
query15	0.86	0.84	0.82
query16	0.38	0.36	0.38
query17	1.08	0.99	0.97
query18	0.23	0.22	0.22
query19	1.93	1.79	1.75
query20	0.01	0.02	0.01
query21	15.42	0.87	0.67
query22	4.49	6.83	2.14
query23	18.30	1.53	1.25
query24	2.09	0.23	0.23
query25	0.15	0.09	0.10
query26	0.30	0.21	0.21
query27	0.46	0.24	0.23
query28	13.35	1.03	1.02
query29	12.70	3.34	3.30
query30	0.37	0.19	0.19
query31	2.79	0.42	0.40
query32	3.23	0.48	0.50
query33	2.95	2.97	2.90
query34	17.02	4.42	4.41
query35	4.47	4.48	4.51
query36	0.66	0.49	0.49
query37	0.21	0.17	0.18
query38	0.18	0.17	0.17
query39	0.06	0.05	0.05
query40	0.18	0.14	0.14
query41	0.11	0.07	0.06
query42	0.08	0.06	0.07
query43	0.06	0.05	0.05
Total cold run time: 110.67 s
Total hot run time: 31.45 s

[dataroaring]

LGTM

[github-actions]

PR approved by at least one committer and no changes requested.

[github-actions]

PR approved by anyone and no changes requested.

[liaoxin01]

LGTM

[sollhui]

run buildall

[doris-robot]

TPC-H: Total hot run time: 38239 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 733a174cc0b958b2718e3b86eeacdd8eea6d312a, data reload: false

------ Round 1 ----------------------------------
q1	17883	4469	4408	4408
q2	2748	202	175	175
q3	12062	1122	1145	1122
q4	10458	769	704	704
q5	7907	2906	2821	2821
q6	224	140	157	140
q7	968	617	599	599
q8	9334	2062	2045	2045
q9	6971	6544	6539	6539
q10	7011	2175	2257	2175
q11	455	247	255	247
q12	402	221	218	218
q13	17761	3076	3073	3073
q14	292	240	230	230
q15	517	489	493	489
q16	499	395	385	385
q17	975	619	712	619
q18	7213	6843	6860	6843
q19	1388	1065	1138	1065
q20	688	327	336	327
q21	3865	3057	2997	2997
q22	1121	1018	1040	1018
Total cold run time: 110742 ms
Total hot run time: 38239 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4347	4324	4277	4277
q2	372	278	279	278
q3	2897	2613	2707	2613
q4	1932	1617	1666	1617
q5	5420	5391	5385	5385
q6	222	130	129	129
q7	2095	1700	1738	1700
q8	3212	3364	3357	3357
q9	8440	8440	8410	8410
q10	3445	3227	3181	3181
q11	592	506	484	484
q12	774	614	579	579
q13	12524	3034	3081	3034
q14	298	292	277	277
q15	520	482	479	479
q16	477	418	419	418
q17	1793	1503	1494	1494
q18	7759	7435	7352	7352
q19	1660	1462	1361	1361
q20	2088	1817	1841	1817
q21	5501	5236	5205	5205
q22	1111	1039	1032	1032
Total cold run time: 67479 ms
Total hot run time: 54479 ms

[doris-robot]

TPC-DS: Total hot run time: 187538 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 733a174cc0b958b2718e3b86eeacdd8eea6d312a, data reload: false

query1	914	367	369	367
query2	6461	2004	1908	1908
query3	6646	211	223	211
query4	34342	23134	23150	23134
query5	4146	516	464	464
query6	248	180	174	174
query7	4608	305	294	294
query8	254	203	211	203
query9	8449	2481	2478	2478
query10	448	266	262	262
query11	17680	15040	15153	15040
query12	143	100	98	98
query13	1654	376	378	376
query14	10229	6944	6989	6944
query15	237	170	165	165
query16	7506	423	481	423
query17	1588	580	547	547
query18	1985	288	281	281
query19	203	139	145	139
query20	113	110	112	110
query21	214	100	100	100
query22	4432	4232	4167	4167
query23	34112	33396	33423	33396
query24	11168	2882	2871	2871
query25	654	378	372	372
query26	1326	162	158	158
query27	2844	289	283	283
query28	7666	2048	2029	2029
query29	847	413	398	398
query30	301	164	148	148
query31	954	767	765	765
query32	96	57	59	57
query33	767	306	318	306
query34	921	494	484	484
query35	853	739	709	709
query36	1066	915	940	915
query37	158	85	87	85
query38	3998	3852	3839	3839
query39	1441	1400	1376	1376
query40	267	114	117	114
query41	47	45	46	45
query42	119	99	103	99
query43	520	478	457	457
query44	1240	759	748	748
query45	200	167	170	167
query46	1097	726	761	726
query47	1884	1792	1778	1778
query48	381	305	291	291
query49	1090	424	442	424
query50	802	409	424	409
query51	7206	7152	6949	6949
query52	102	87	90	87
query53	258	193	183	183
query54	918	480	491	480
query55	82	76	77	76
query56	279	263	264	263
query57	1193	1072	1085	1072
query58	237	227	222	222
query59	2956	2781	2930	2781
query60	293	272	263	263
query61	102	95	100	95
query62	832	650	683	650
query63	229	186	179	179
query64	4530	711	640	640
query65	3218	3144	3170	3144
query66	1453	334	331	331
query67	15677	15098	15350	15098
query68	3565	584	586	584
query69	409	274	284	274
query70	1153	1109	1100	1100
query71	333	276	265	265
query72	6420	3977	4008	3977
query73	741	340	345	340
query74	9089	8816	8953	8816
query75	3408	2675	2712	2675
query76	2078	1067	988	988
query77	453	312	324	312
query78	9823	9034	9187	9034
query79	1045	548	546	546
query80	673	515	506	506
query81	450	228	225	225
query82	232	136	137	136
query83	175	152	156	152
query84	230	82	75	75
query85	677	284	282	282
query86	299	295	291	291
query87	4280	4303	4260	4260
query88	2983	2375	2348	2348
query89	380	286	286	286
query90	1826	195	200	195
query91	141	99	101	99
query92	65	53	58	53
query93	1021	544	545	544
query94	865	312	367	312
query95	360	267	261	261
query96	595	270	277	270
query97	3184	3054	3088	3054
query98	223	213	194	194
query99	1500	1237	1308	1237
Total cold run time: 287560 ms
Total hot run time: 187538 ms

[doris-robot]

ClickBench: Total hot run time: 30.36 s

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 733a174cc0b958b2718e3b86eeacdd8eea6d312a, data reload: false

query1	0.05	0.04	0.04
query2	0.08	0.04	0.04
query3	0.22	0.06	0.06
query4	1.66	0.09	0.10
query5	0.50	0.48	0.49
query6	1.13	0.74	0.73
query7	0.02	0.01	0.01
query8	0.05	0.04	0.04
query9	0.53	0.48	0.49
query10	0.56	0.54	0.55
query11	0.16	0.12	0.11
query12	0.15	0.13	0.13
query13	0.61	0.59	0.60
query14	0.76	0.77	0.79
query15	0.88	0.81	0.81
query16	0.38	0.37	0.37
query17	1.06	1.01	1.05
query18	0.21	0.20	0.21
query19	1.94	1.88	1.85
query20	0.02	0.01	0.01
query21	15.43	0.65	0.64
query22	4.64	7.01	1.49
query23	18.16	1.39	1.28
query24	2.12	0.24	0.22
query25	0.16	0.09	0.10
query26	0.26	0.18	0.18
query27	0.09	0.09	0.09
query28	13.24	1.03	0.99
query29	12.64	3.36	3.33
query30	0.24	0.05	0.06
query31	2.86	0.39	0.39
query32	3.26	0.48	0.47
query33	2.99	2.98	3.04
query34	17.12	4.40	4.33
query35	4.41	4.43	4.44
query36	0.65	0.46	0.48
query37	0.19	0.15	0.15
query38	0.15	0.15	0.14
query39	0.04	0.04	0.04
query40	0.16	0.12	0.13
query41	0.09	0.04	0.04
query42	0.06	0.05	0.05
query43	0.05	0.05	0.04
Total cold run time: 109.98 s
Total hot run time: 30.36 s