Skip to content

Conversation

@caiconghui
Copy link
Contributor

Proposed changes

Issue Number: close #xxx

@doris-robot
Copy link

Thank you for your contribution to Apache Doris.
Don't know what should be done next? See How to process your PR

Since 2024-03-18, the Document has been moved to doris-website.
See Doris Document.

@caiconghui caiconghui changed the title Stream load error [fix](stream_load) fix stream load may failed caused by column name with keyword Jun 1, 2024
@caiconghui
Copy link
Contributor Author

run buildall

@doris-robot
Copy link

TPC-H: Total hot run time: 40792 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 31b1755b73b4a410904993f63b460f87c872d331, data reload: false

------ Round 1 ----------------------------------
q1	17719	4375	4289	4289
q2	2041	201	203	201
q3	10544	1141	1131	1131
q4	10547	791	745	745
q5	7866	2688	2676	2676
q6	222	141	144	141
q7	971	614	643	614
q8	9510	2109	2117	2109
q9	9674	6592	6568	6568
q10	9084	3846	3764	3764
q11	457	253	244	244
q12	506	240	241	240
q13	18899	3003	2989	2989
q14	265	225	220	220
q15	523	460	474	460
q16	537	386	375	375
q17	972	667	802	667
q18	7984	7347	7374	7347
q19	1630	1425	1479	1425
q20	643	314	326	314
q21	5046	4023	3950	3950
q22	388	330	323	323
Total cold run time: 116028 ms
Total hot run time: 40792 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4411	4261	4245	4245
q2	363	278	274	274
q3	2985	2756	2750	2750
q4	1899	1587	1645	1587
q5	5249	5268	5280	5268
q6	216	131	134	131
q7	2068	1681	1700	1681
q8	3196	3317	3289	3289
q9	8342	8327	8344	8327
q10	3891	3712	3644	3644
q11	570	511	480	480
q12	790	598	605	598
q13	17496	3010	2991	2991
q14	292	271	251	251
q15	510	485	489	485
q16	472	416	414	414
q17	1760	1471	1460	1460
q18	7569	7469	7448	7448
q19	1676	1623	1630	1623
q20	1989	1798	1811	1798
q21	4951	4724	4797	4724
q22	615	520	515	515
Total cold run time: 71310 ms
Total hot run time: 53983 ms

@doris-robot
Copy link

TPC-DS: Total hot run time: 170026 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 31b1755b73b4a410904993f63b460f87c872d331, data reload: false

query1	944	375	364	364
query2	6450	2368	2288	2288
query3	6652	205	203	203
query4	19593	17411	17303	17303
query5	4171	454	487	454
query6	260	155	164	155
query7	4603	298	296	296
query8	319	272	270	270
query9	8519	2455	2419	2419
query10	455	299	277	277
query11	10775	9991	9962	9962
query12	138	89	91	89
query13	1626	362	357	357
query14	9355	7717	6905	6905
query15	233	192	188	188
query16	7849	274	270	270
query17	1827	528	508	508
query18	1997	266	278	266
query19	211	171	150	150
query20	93	85	90	85
query21	205	130	136	130
query22	4365	4071	3865	3865
query23	33624	32974	33217	32974
query24	12055	2859	2889	2859
query25	667	365	399	365
query26	1778	167	159	159
query27	3057	313	313	313
query28	7731	2036	2035	2035
query29	1104	613	602	602
query30	289	149	144	144
query31	960	745	742	742
query32	90	52	55	52
query33	753	289	274	274
query34	987	486	477	477
query35	725	612	611	611
query36	1087	951	918	918
query37	297	70	70	70
query38	2959	2811	2758	2758
query39	836	825	791	791
query40	287	120	126	120
query41	53	49	53	49
query42	114	96	100	96
query43	577	566	555	555
query44	1222	724	730	724
query45	203	173	163	163
query46	1075	734	710	710
query47	1828	1770	1762	1762
query48	364	295	301	295
query49	1189	414	416	414
query50	795	399	407	399
query51	6850	6734	6726	6726
query52	106	90	96	90
query53	355	290	292	290
query54	919	448	446	446
query55	73	75	74	74
query56	288	258	256	256
query57	1135	1042	1052	1042
query58	268	240	252	240
query59	3524	3324	3090	3090
query60	304	289	296	289
query61	88	86	91	86
query62	660	445	451	445
query63	319	290	288	288
query64	9822	2219	1787	1787
query65	3217	3123	3126	3123
query66	1391	329	345	329
query67	15532	14850	14753	14753
query68	4542	550	538	538
query69	549	463	355	355
query70	1198	1138	1149	1138
query71	420	286	292	286
query72	7002	4888	2709	2709
query73	747	329	326	326
query74	5885	5612	5595	5595
query75	3379	2629	2664	2629
query76	2825	918	910	910
query77	491	300	300	300
query78	10279	9894	9841	9841
query79	2257	510	522	510
query80	984	485	465	465
query81	538	225	219	219
query82	840	104	97	97
query83	231	167	183	167
query84	244	86	87	86
query85	1997	309	335	309
query86	479	324	314	314
query87	3388	3144	3158	3144
query88	3898	2434	2430	2430
query89	482	403	384	384
query90	1795	188	192	188
query91	128	97	101	97
query92	61	51	49	49
query93	2429	522	515	515
query94	1219	188	189	188
query95	399	328	322	322
query96	590	268	265	265
query97	3169	3018	3020	3018
query98	241	229	206	206
query99	1243	837	851	837
Total cold run time: 276126 ms
Total hot run time: 170026 ms

@doris-robot
Copy link

ClickBench: Total hot run time: 31.08 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 31b1755b73b4a410904993f63b460f87c872d331, data reload: false

query1	0.04	0.03	0.03
query2	0.08	0.03	0.04
query3	0.23	0.06	0.06
query4	1.67	0.08	0.10
query5	0.52	0.47	0.49
query6	1.12	0.72	0.71
query7	0.02	0.01	0.02
query8	0.05	0.05	0.05
query9	0.53	0.49	0.48
query10	0.54	0.53	0.53
query11	0.16	0.11	0.11
query12	0.14	0.12	0.12
query13	0.60	0.58	0.60
query14	0.77	0.78	0.78
query15	0.83	0.82	0.81
query16	0.36	0.37	0.35
query17	0.95	0.93	0.97
query18	0.22	0.22	0.23
query19	1.78	1.67	1.72
query20	0.02	0.01	0.02
query21	15.45	0.72	0.67
query22	4.60	6.38	2.34
query23	18.32	1.42	1.33
query24	1.74	0.25	0.22
query25	0.16	0.08	0.08
query26	0.27	0.16	0.16
query27	0.07	0.07	0.08
query28	13.36	1.03	1.00
query29	12.69	3.30	3.30
query30	0.24	0.07	0.06
query31	2.85	0.39	0.39
query32	3.29	0.48	0.47
query33	2.92	2.89	2.90
query34	17.31	4.50	4.44
query35	4.55	4.58	4.60
query36	0.64	0.45	0.46
query37	0.19	0.15	0.16
query38	0.17	0.15	0.15
query39	0.04	0.04	0.03
query40	0.17	0.14	0.14
query41	0.09	0.05	0.05
query42	0.05	0.05	0.05
query43	0.04	0.03	0.04
Total cold run time: 109.84 s
Total hot run time: 31.08 s

@caiconghui caiconghui force-pushed the stream_load_error branch from 31b1755 to cfd8ac6 Compare June 1, 2024 04:50
@caiconghui
Copy link
Contributor Author

run buildall

1 similar comment
@caiconghui
Copy link
Contributor Author

run buildall

@doris-robot
Copy link

TPC-H: Total hot run time: 40757 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 318962b76af79829ff7cdfb6d853dfde40c0b84b, data reload: false

------ Round 1 ----------------------------------
q1	17613	4306	4183	4183
q2	2019	202	203	202
q3	10435	1223	1164	1164
q4	10197	846	844	844
q5	7454	2704	2715	2704
q6	229	133	131	131
q7	977	610	599	599
q8	9224	2109	2082	2082
q9	9246	6622	6641	6622
q10	10213	3902	3870	3870
q11	448	240	240	240
q12	447	239	222	222
q13	17415	3164	3247	3164
q14	264	215	216	215
q15	498	464	482	464
q16	494	393	397	393
q17	981	650	633	633
q18	8274	7735	7760	7735
q19	4375	1376	1364	1364
q20	657	323	317	317
q21	5068	3430	3291	3291
q22	394	334	318	318
Total cold run time: 116922 ms
Total hot run time: 40757 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4473	4356	4435	4356
q2	365	267	264	264
q3	3123	2912	2876	2876
q4	2000	1628	1624	1624
q5	5321	5495	5488	5488
q6	224	127	129	127
q7	2173	1827	1843	1827
q8	3186	3328	3353	3328
q9	8667	8543	8655	8543
q10	4077	3877	3803	3803
q11	607	485	489	485
q12	754	602	587	587
q13	16123	3050	3154	3050
q14	296	266	256	256
q15	518	489	469	469
q16	468	432	424	424
q17	1778	1484	1463	1463
q18	8020	7860	7444	7444
q19	1737	1579	1561	1561
q20	3028	1771	1797	1771
q21	7350	4710	4615	4615
q22	705	512	521	512
Total cold run time: 74993 ms
Total hot run time: 54873 ms

@doris-robot
Copy link

TPC-DS: Total hot run time: 170218 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 318962b76af79829ff7cdfb6d853dfde40c0b84b, data reload: false

query1	925	371	365	365
query2	6456	2328	2352	2328
query3	6643	204	213	204
query4	20730	17415	17509	17415
query5	4160	449	447	447
query6	242	159	153	153
query7	4581	295	291	291
query8	315	283	280	280
query9	8638	2450	2423	2423
query10	446	315	286	286
query11	11384	10296	10138	10138
query12	135	90	87	87
query13	1656	355	366	355
query14	9268	7515	7414	7414
query15	228	192	188	188
query16	7405	279	262	262
query17	1286	519	527	519
query18	1920	283	269	269
query19	226	154	154	154
query20	115	84	82	82
query21	212	129	126	126
query22	4374	3897	3966	3897
query23	33542	32972	33158	32972
query24	11183	2899	2780	2780
query25	643	354	356	354
query26	1217	152	154	152
query27	2884	312	313	312
query28	7393	2044	2056	2044
query29	925	594	595	594
query30	269	151	151	151
query31	981	788	741	741
query32	86	56	58	56
query33	761	300	285	285
query34	932	492	472	472
query35	782	608	610	608
query36	1104	920	892	892
query37	155	68	73	68
query38	2950	2823	2821	2821
query39	848	778	785	778
query40	213	124	125	124
query41	56	51	50	50
query42	119	92	97	92
query43	563	560	550	550
query44	1175	717	743	717
query45	203	164	163	163
query46	1070	686	728	686
query47	1872	1797	1820	1797
query48	362	298	294	294
query49	988	398	424	398
query50	786	381	394	381
query51	6802	6692	6665	6665
query52	111	94	93	93
query53	353	319	286	286
query54	884	451	438	438
query55	75	74	71	71
query56	277	257	265	257
query57	1137	1057	1075	1057
query58	266	226	270	226
query59	3312	3147	3040	3040
query60	305	264	272	264
query61	92	90	89	89
query62	621	446	451	446
query63	313	284	283	283
query64	8974	2258	1704	1704
query65	3167	3065	3129	3065
query66	887	317	328	317
query67	15408	14780	14774	14774
query68	4560	529	522	522
query69	508	365	351	351
query70	1233	1087	1135	1087
query71	395	283	292	283
query72	7061	2713	2582	2582
query73	771	328	318	318
query74	6149	5728	5688	5688
query75	3361	2620	2613	2613
query76	2521	920	939	920
query77	450	299	284	284
query78	10052	9626	9718	9626
query79	2273	514	520	514
query80	2138	448	449	448
query81	595	225	223	223
query82	775	103	103	103
query83	287	174	168	168
query84	262	99	85	85
query85	1294	327	316	316
query86	452	298	296	296
query87	3387	3206	3128	3128
query88	4335	2446	2454	2446
query89	465	384	385	384
query90	1839	188	192	188
query91	134	106	106	106
query92	66	50	51	50
query93	2125	503	498	498
query94	1229	200	193	193
query95	413	324	327	324
query96	596	270	270	270
query97	3162	3032	3054	3032
query98	260	229	212	212
query99	1203	870	877	870
Total cold run time: 272742 ms
Total hot run time: 170218 ms

@doris-robot
Copy link

ClickBench: Total hot run time: 31.36 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 318962b76af79829ff7cdfb6d853dfde40c0b84b, data reload: false

query1	0.04	0.03	0.03
query2	0.08	0.04	0.04
query3	0.24	0.05	0.06
query4	1.66	0.10	0.09
query5	0.51	0.48	0.52
query6	1.13	0.72	0.71
query7	0.02	0.02	0.02
query8	0.05	0.04	0.04
query9	0.53	0.50	0.49
query10	0.54	0.56	0.59
query11	0.16	0.11	0.11
query12	0.14	0.12	0.12
query13	0.59	0.58	0.59
query14	0.78	0.80	0.79
query15	0.82	0.81	0.81
query16	0.36	0.37	0.36
query17	0.94	1.02	0.93
query18	0.20	0.26	0.26
query19	1.89	1.81	1.70
query20	0.02	0.01	0.01
query21	15.44	0.71	0.70
query22	4.96	5.94	2.51
query23	18.27	1.32	1.52
query24	1.76	0.25	0.25
query25	0.15	0.08	0.08
query26	0.26	0.17	0.18
query27	0.08	0.08	0.07
query28	13.39	1.02	0.99
query29	12.75	3.41	3.35
query30	0.24	0.06	0.06
query31	2.87	0.39	0.38
query32	3.27	0.46	0.47
query33	2.91	2.89	2.94
query34	17.02	4.39	4.43
query35	4.48	4.51	4.51
query36	0.72	0.49	0.47
query37	0.18	0.15	0.17
query38	0.15	0.14	0.14
query39	0.04	0.04	0.03
query40	0.17	0.14	0.14
query41	0.08	0.04	0.04
query42	0.06	0.05	0.05
query43	0.04	0.03	0.04
Total cold run time: 109.99 s
Total hot run time: 31.36 s

@caiconghui caiconghui force-pushed the stream_load_error branch from 318962b to 430d2a8 Compare June 1, 2024 13:10
@caiconghui
Copy link
Contributor Author

run buildall

@doris-robot
Copy link

TPC-H: Total hot run time: 40787 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 430d2a81a3d4618a8b4ea36118aca3dc79ff50de, data reload: false

------ Round 1 ----------------------------------
q1	17613	4276	4230	4230
q2	2028	203	199	199
q3	10411	1246	1058	1058
q4	10221	860	794	794
q5	7462	2683	2647	2647
q6	215	139	141	139
q7	972	628	620	620
q8	9219	2108	2072	2072
q9	10374	6748	6751	6748
q10	9308	3876	3922	3876
q11	462	245	243	243
q12	426	239	249	239
q13	17225	3195	3271	3195
q14	279	229	240	229
q15	509	474	476	474
q16	486	392	383	383
q17	956	585	611	585
q18	8340	7846	7811	7811
q19	4810	1318	1380	1318
q20	651	333	326	326
q21	5220	3272	3415	3272
q22	396	329	332	329
Total cold run time: 117583 ms
Total hot run time: 40787 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4529	4411	4487	4411
q2	397	272	274	272
q3	3143	2929	2980	2929
q4	1942	1690	1627	1627
q5	5317	5526	5493	5493
q6	219	129	128	128
q7	2140	1816	1857	1816
q8	3218	3349	3376	3349
q9	8644	8612	8543	8543
q10	4056	3839	3831	3831
q11	596	483	494	483
q12	802	606	632	606
q13	15927	3041	3139	3041
q14	300	272	277	272
q15	528	469	481	469
q16	504	429	421	421
q17	1793	1476	1492	1476
q18	8047	7905	7326	7326
q19	1756	1521	1383	1383
q20	3033	1782	1780	1780
q21	4989	4775	4715	4715
q22	820	532	514	514
Total cold run time: 72700 ms
Total hot run time: 54885 ms

@doris-robot
Copy link

TPC-DS: Total hot run time: 171909 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 430d2a81a3d4618a8b4ea36118aca3dc79ff50de, data reload: false

query1	929	389	370	370
query2	6457	2406	2343	2343
query3	6652	206	206	206
query4	19201	17402	17335	17335
query5	4125	473	457	457
query6	249	182	168	168
query7	4590	304	294	294
query8	324	294	280	280
query9	8697	2447	2402	2402
query10	446	295	286	286
query11	10444	10078	10021	10021
query12	139	87	90	87
query13	1631	356	364	356
query14	9498	6058	7723	6058
query15	232	198	189	189
query16	7314	266	282	266
query17	1379	527	522	522
query18	1911	273	271	271
query19	199	153	152	152
query20	94	90	93	90
query21	211	132	136	132
query22	4163	4075	3939	3939
query23	33568	33051	33265	33051
query24	11271	2867	2829	2829
query25	608	355	398	355
query26	924	153	159	153
query27	2300	309	315	309
query28	6421	2058	2034	2034
query29	881	596	604	596
query30	279	148	152	148
query31	966	793	751	751
query32	99	53	54	53
query33	755	291	271	271
query34	960	486	476	476
query35	747	627	604	604
query36	1092	925	903	903
query37	136	71	71	71
query38	2875	2777	2777	2777
query39	867	795	795	795
query40	205	125	128	125
query41	54	54	52	52
query42	114	97	97	97
query43	577	556	562	556
query44	1214	719	728	719
query45	204	176	174	174
query46	1076	732	766	732
query47	1866	1731	1772	1731
query48	373	297	301	297
query49	1094	419	413	413
query50	780	383	401	383
query51	6784	6715	6612	6612
query52	112	97	92	92
query53	358	298	292	292
query54	953	456	495	456
query55	74	71	72	71
query56	272	257	279	257
query57	1126	1052	1041	1041
query58	266	240	249	240
query59	3568	3168	3098	3098
query60	310	277	281	277
query61	93	86	87	86
query62	659	458	446	446
query63	313	294	288	288
query64	8645	2269	1764	1764
query65	3240	3090	3133	3090
query66	997	325	328	325
query67	15026	14764	14910	14764
query68	4563	536	527	527
query69	615	469	401	401
query70	1170	1133	1062	1062
query71	420	292	289	289
query72	8191	5495	5907	5495
query73	800	333	327	327
query74	5995	5595	5720	5595
query75	3492	2654	2658	2654
query76	2749	870	942	870
query77	651	312	305	305
query78	10385	9835	9807	9807
query79	2090	505	503	503
query80	1748	469	465	465
query81	600	216	224	216
query82	682	100	102	100
query83	288	171	168	168
query84	260	85	87	85
query85	1101	268	258	258
query86	459	313	326	313
query87	3315	3161	3130	3130
query88	3929	2412	2411	2411
query89	470	413	372	372
query90	1665	198	188	188
query91	131	102	101	101
query92	62	47	51	47
query93	2122	522	491	491
query94	1179	187	186	186
query95	420	323	322	322
query96	661	274	262	262
query97	3204	3015	3044	3015
query98	247	218	217	217
query99	1314	861	849	849
Total cold run time: 268965 ms
Total hot run time: 171909 ms

@doris-robot
Copy link

ClickBench: Total hot run time: 30.42 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 430d2a81a3d4618a8b4ea36118aca3dc79ff50de, data reload: false

query1	0.04	0.04	0.03
query2	0.09	0.04	0.04
query3	0.22	0.05	0.04
query4	1.68	0.07	0.06
query5	0.48	0.50	0.51
query6	1.12	0.72	0.73
query7	0.02	0.02	0.02
query8	0.05	0.04	0.04
query9	0.54	0.48	0.49
query10	0.54	0.55	0.54
query11	0.15	0.12	0.11
query12	0.15	0.12	0.12
query13	0.59	0.59	0.59
query14	0.81	0.77	0.79
query15	0.82	0.82	0.83
query16	0.35	0.37	0.36
query17	0.95	0.96	0.96
query18	0.21	0.24	0.23
query19	1.78	1.66	1.69
query20	0.02	0.01	0.01
query21	15.43	0.71	0.67
query22	4.59	6.64	1.76
query23	18.36	1.40	1.29
query24	1.84	0.21	0.25
query25	0.14	0.08	0.09
query26	0.27	0.16	0.16
query27	0.09	0.09	0.08
query28	13.34	1.01	0.99
query29	12.67	3.43	3.31
query30	0.25	0.05	0.06
query31	2.87	0.39	0.38
query32	3.30	0.46	0.46
query33	2.88	2.91	2.92
query34	17.04	4.40	4.41
query35	4.52	4.52	4.57
query36	0.70	0.48	0.46
query37	0.17	0.15	0.15
query38	0.15	0.14	0.15
query39	0.04	0.04	0.03
query40	0.17	0.14	0.13
query41	0.08	0.05	0.05
query42	0.06	0.05	0.05
query43	0.04	0.04	0.04
Total cold run time: 109.61 s
Total hot run time: 30.42 s

@zclllyybb
Copy link
Contributor

please add pr descreption

@caiconghui caiconghui closed this Jun 3, 2024
@caiconghui
Copy link
Contributor Author

please add pr descreption

@zclllyybb reopen it in #35822 and add pr descreption

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

4 participants